Le réalisateur Xavier De Choudens dit s'être "lointainement inspiré" de la nouvelle de Yasunari Kawabata Les Belles endormies. Dans le Japon du début du XXe siècle, un vieil homme sous narcotiques vient s’endormir auprès de jeunes femmes. Le cinéaste avait déjà essayé de l’adapter sans y parvenir, mais l’idée de cette relation amoureuse un peu interdite est restée dans Joseph et la fille.
Xavier De Choudens nous parle du rapport entre Joseph et la fille et le genre du film noir : "Je ne voulais pas faire un film de braquage. J’y ai greffé l’idée d’un casse avec un homme à l’aube de sa mort. Joseph et la fille se rapproche évidemment du film noir sans pour autant adopter une esthétique spécifique. Les codes du polar sont là (Joseph sort de taule, va dans cette maison pour préparer un coup, rencontre une fille…) mais le film ne devait pas se résumer à ça".
Le réalisateur explique que si Jacques Dutronc n’avait pas accepté le rôle, il n’aurait pas fait le film. Il avait écrit le scénario en pensant à lui, car dans cette génération de comédiens, Xavier De Choudens croyait qu’il était le seul à pouvoir incarner le personnage de Joseph : "Il a à la fois ce côté cassé, abimé, mais aussi et avant tout séduisant", précise le cinéaste français. Ce dernier a travaillé pendant trois mois l'écriture du scénario avant de l'envoyer à son futur interprète.
Le réalisateur de Joseph et la fille raconte sa première rencontre avec Jacques Dutronc chez lui, en Corse : "Immédiatement, nous nous sommes bien entendus. J’étais soulagé, parce que j’y allais d’abord pour vérifier qu’il était bien Joseph. Je ne l’avais jamais rencontré "en vrai", je ne connaissais pas sa taille, sa carrure… J’ai tout de suite vu que c’était lui et pas un autre. Nous nous sommes assis autour d’une table, avons parlé dix minutes du scénario puis de tout autre chose. Et bu pendant quatre heures ! Au retour, sur la route entre Calvi et l’aéroport de Bastia, ça a été assez drôle !", s'amuse-t-il.
Avec le duo formé par Jacques Dutronc et Hafsia Herzi, Xavier De Choudens a créé un couple en constante opposition. L'énergie que détenait la jeune actrice faisait sourire le vieil acteur, il l’appelait même la "mitraillette" !
Ce qui intéressait le plus le réalisateur était la gestion du silence et la simplicité de l’histoire qui tient en haleine avec simplement une intrigue principale et une sous-intrigue: "J’avais le même genre d’envie : raconter une histoire d’amour dans le cadre plus vaste d’un casse en préparation", ajoute-t-il. Xavier De Choudens a fait très attention à montrer qu'il s'agissait de bandits : "Je ne glorifie pas ce monde de truands, je les montre comme des minables (ce qu’ils sont fondamentalement), ce qui va un peu à rebours de ce qu’on peut généralement voir au cinéma".
Pour approcher au plus près du personnage qu'il lui avait écrit, le réalisateur Xavier De Choudens a demandé à Jacques Dutronc de regarder la performance de l'acteur britannique Terence Stamp dans le long métrage de Steven Soderbergh sorti en 1999: L' Anglais.