Joe est l'adaptation du roman éponyme de l’écrivain américain Larry Brown publié en 1991 et lauréat du Southern Book Critics Circle Award for Fiction. C'est la deuxième fois qu'un récit du romancier est adapté sur le grand écran, treize ans après Big Bad Love réalisé par Arliss Howard : "Larry a des lecteurs très fervents, mais j’aime l’idée d’attirer de nouveaux lecteurs vers la littérature sudiste contemporaine. Tout comme ceux de Cormac McCarthy, les personnages de Larry ont ce côté mythique qui les rend à la fois typiques de la région et universels", confie David Gordon Green.
Pour sa prestation dans Joe, l'acteur Tye Sheridan a reçu le Prix Marcello-Mastroianni du Meilleur Espoir Masculin à la Mostra de Venise en 2013. Le long-métrage de David Gordon Green a quant à lui été nommé au Festival international du film de Toronto et au Festival du film américain de Deauville.
Lors de la présentation de Joe au Festival du film américain de Deauville, l'acteur Nicolas Cage avait confié à propos de la jeune vedette Tye Sheridan que celui-ci lui faisait penser à James Dean, l'un de ses héros d'enfance.
L’ambiance de Joe peut faire penser à celle de Mud, un autre drame sudiste – les grands espaces américains, un personnage sauvage qui apprivoise un adolescent, la présence de serpents, l’acteur Tye Sheridan – sans compter que David Gordon Green et Jeff Nichols partagent le même goût pour le cinéma du Sud. Les deux réalisateurs ont déjà eu la chance de travailler ensemble à de nombreuses reprises, après avoir été en classe ensemble. En effet, ils ont chacun été assistant réalisateur sur le documentaire "The Rough South of Larry Brown", et David Gordon Green a produit Shotgun Stories, le premier long-métrage de Jeff Nichols.
Le réalisateur David Gordon Green connaît bien le lieu dans lequel il a tourné Joe puisqu'il a grandi au Texas, bien qu'il soit natif de l'Arkansas, et y a déjà tourné sa précédente réalisation Prince of Texas. Le jeune acteur Tye Sheridan, qui joue le jeune sans-abri Gary Jones, est quant à lui originaire de cet Etat du sud des Etats-Unis.
Le scénario de Joe a été écrit par quelqu’un que David Gordon Green connaît bien puisqu’’il s’agit de Gary Hawkins, son ancien professeur de cinéma à la North Carolina School of the Arts, qui a réalisé le documentaire "The Rough South of Larry Brown", portant sur la carrière de l’écrivain américain. Le réalisateur lui doit donc beaucoup pour la mise en oeuvre Joe.
C'est la deuxième fois que l'acteur texan Tye Sheridan joue dans un long-métrage où il est question de serpents. En effet, dans Mud, déjà, Matthew McConaughey a un serpent tatoué sur le bras, s'est fait piquer quand il était plus jeune, et la forêt où il se réfugie grouille de serpents mortels. Dans Joe, le reptile se faufile également au casting, Nicolas Cage porte l'animal à mains nues dans un scène. Il s'agit d'un vrai mocassion d'eau : "Aussi effrayant que cela puisse paraître à n’importe qui, Nicolas Cage lui, n’a eu aucune difficulté ; au contraire, il apprécie les créatures vénéneuses et imprévisibles."
Quand il a découvert les contours du caractère de Joe Ransom, un ancien taulard bien décidé à reprendre sa vie en main, le réalisateur David Gordon Green a immédiatement pensé à l'acteur Robert Mitchum : "Je le visualisais, lui, dans ce rôle, pas seulement à cause de "La nuit du chasseur". Un acteur massif, physiquement impressionnant, capable de communiquer des tonnes d'émotion différentes, de l'humour à la vulnérabilité." Puis, c’est tout naturellement qu’il s’est tourné vers Nicolas Cage, qu’il a rencontré pendant les repérages de son film précédent, Prince of Texas : "Dans les méandres de sa carrière, Nic a exploré tous les registres des émotions. Mais quel que soit le film dans lequel il joue, il a cette capacité à vous laisser accéder à ses sentiments les plus profonds. Il possède l’humanité et l’honnêteté que je recherchais pour Joe."
Lors de la préparation du tournage de Joe, David Gordon Green a souhaité s’entretenir avec la famille du défunt écrivain Larry Brown. Ainsi, le réalisateur a échangé avec Mary Annie Coleman Brown, la veuve du romancier, et leur fils, Billy Ray Brown, au sujet des personnages esquissés par Larry Brown dans son roman : "Son fils m’a dit que chaque personnage de Joe était inspiré d’une personne que Larry connaissait. Cela explique l’ambiguïté du roman. J’imagine qu’il se disait que tous les habitants de la ville savaient de qui il parlait et ce qui leur était arrivé."
C'est à un arrêt de bus, dans une rue d'Austin, que le directeur de casting de Joe a déniché l'acteur non-professionnel Gary Poulter. Vagabond qui pratiquait le breakdance pour se nourrir, il rentrait ce jour-là de l'enterrement de son père. L'équipe du film lui a alors fait passer plusieurs auditions pour incarner le personnage de Wade Jones, le père de Gary : "Nous savions que nous prenions un gros risque en choisissant un homme qui n’a ni adresse ni carte d’identité, mais il avait une histoire. Tout chez lui était criant de vérité, de ses vêtements à la musique qu’il écoutait. Et il était stupéfiant de le voir jouer sans retenue." Le comédien est malheureusement décédé en mars 2013, et n'a pas pu voir la version finale de Joe.