Jack Nicholson et Tommy Lee Jones ont été approchés pour tenir le rôle du juge Joseph Palmer, finalement joué par Robert Duvall. Pour le premier rôle féminin, la production hésitait entre Elizabeth Banks et Vera Farmiga. C'est la seconde qui sera retenue.
Robert Downey Jr. s'était déjà glissé dans la peau d'un avocat le temps de deux saisons de Ally McBeal au début des années 2000.
Robert Downey Jr. a non seulement joué dans le film, mais il en est également le producteur délégué.
Le scénario du film a été revu à des multiples reprises. La première version, rédigée sous la plume de Nick Schenk, est d'abord passée entre les mains de David Seidler, avant de finir entre celles de Bill Dubuque.
Bill Bob Thornton et David Dobkin s'étaient déjà croisés en 2005, sur le tournage de la comédie Monsieur Woodcock, que le second avait produit (et coréalisé sans être crédité).
Le Juge a été tourné principalement dans le Massachusetts (Attleboro, Worcester, Dedham, Boston, Shelburne Falls, Belmont et Plymouth) mais aussi dans l'Indiana (Jackson County).
Le réalisateur et producteur du film, David Dobkin, voulait aborder avec Le Juge la thématique de la filiation. Le film s'intéresse en effet à une étape charnière de la vie de chacun : devenir parent de nos parents vieillissants. C'est tout le dilemme du personnage de Robert Downey Jr. qui en vient à défendre son père qui se retrouve sur le banc des accusés.
Le réalisateur David Dobkin précise que le rôle du juge Hank Palmer a été tout spécialement écrit pour Robert Downey Jr.. Suite à une rencontre des deux hommes un an auparavant, le cinéaste avait pour projet d'écrire un script pour le comédien et ainsi lui offrir un rôle à la mesure de son talent.
Le Juge est la première production de Team Downey, structure montée par Robert Downey Jr. et par son épouse Susan Downey.
Avant le tournage, les acteurs du film ont bénéficié d'un temps de répétition considérable, chose plutôt rare de nos jours. Cette répétition a culminé en une improvisation d'une heure et demi entre les différents comédiens principaux du film.
Robert Downey Jr. décrit son personnage comme quelqu'un de fermé, qui vit autant physiquement qu'intellectuellement mais jamais émotionnellement. Le fait que son personnage retourne dans sa ville natale et sorte ainsi de sa zone de confort a constitué un challenge qu'a apprécié l'acteur. Hank Palmer doit ainsi affronter la cause de ses blessures et faire face à son passé.
Les intérieurs de la maison familiale et du tribunal ont tous deux été construits dans un entrepôt désaffecté de la ville de Norwood dans le Massachussetts.
Dans Le Juge, il y a plusieurs clins d'oeil au film judiciaire Du silence et des ombres réalisé par Robert Mulligan en 1962. Ce long métrage a en effet constitué une sorte de modèle pour le réalisateur David Dobkin. Par exemple, l'esthétique du tribunal de Le Juge, typique du Midwest américain, fait référence au film de Mulligan. La présence de Robert Duvall au casting n'est également pas un hasard : celui-ci figurait déjà à l'affiche de Du silence et des ombres mais dans un rôle bien différent.
Travaillant en étroite collaboration avec le réalisateur et le chef décorateur Mark Ricker, Janusz Kaminski (célèbre chef-opérateur de Steven Spielberg) a tourné Le Juge en pellicule pour insuffler un style classique au film. David Dobkin a fait appel à lui car il désirait que le spectateur ait le sentiment que le film se passe à une autre époque, tout en étant contemporain.
Il s'agit de la deuxième collaboration des acteurs Billy Bob Thornton et Vincent D'Onofrio, dix-huit ans après le thriller Les Flambeurs réalisé par Alex Cox.