Le tournage du Passager a débuté avec Yann Goven dans le rôle de Thomas, mais suite à une blessure sur le tournage, l'acteur a cédé sa place. C'est finalement Eric Caravaca, le réalisateur du film, qui reprit le rôle à la suite de la demande du producteur. Par ailleurs, Jean-Paul Roussillon prévu pour interpréter le personnage de Gilbert, a finalement été remplacé par Maurice Garrel.
Le sujet du film est délicat, il évoque des sujets tabou comme l'inceste, le réalisateur et sa chef opératrice ont su apporter une esthétique particulière pour illustrer l'histoire. Eric Caravaca raconte : "Avec ma chef opératrice, Céline Bozon, on savait que l'on traiterait ces séquences à l'étalonnage pour trouver leur unité de couleurs. Je lui avais montré des polaroïds de Tarkovski, dans des couleurs vertes, froides et presque métalliques. Mais je ne voulais pas que ce soit trop appuyé. Ces moments de flash-back pouvaient être déplacés dans la narration, je savais qu'ils trouveraient leur place définitive au montage".
L'histoire du Passager est née d'une rencontre entre le réalisateur et un livre qu'il découvra dans sa librairie habituelle, le scénario est une adaptation du livre d'Arnaud Cathrine "La route de Midland" : "Oui. En allant chez mon libraire, je suis tombé sur un de ses livres : "l'invention du père". C'est comme ça que j'ai découvert son univers. Dans "la route de Midland", l'histoire de cette fraternité non advenue était un sujet qui me touchait beaucoup (...) Quand on s'est rencontré Arnaud avait envie d'écrire pour le cinéma. Il y avait vraiment des points communs entre nous alors nous avons tenté l'aventure. Arnaud était complètement ouvert à l'idée que l'on décale son histoire. Nous avons écrit à quatre mains. Dans un deuxième temps, j'ai retravaillé le scénario avec Laurent Perreau, car j'avais besoin de m'approprier encore davantage cette histoire", livre Eric Caravaca.
Eric Caravaca attache une grande importance aux lieux de tournage : "Les repérages ont été décisifs. Je cherchais vraiment ce genre de lieux, dont on ne puisse pas savoir s'il se situent en France ou ailleurs. L'histoire et les personnages avaient besoin d'un endroit assez fort mais pas connoté, afin que l'histoire soit d'avantage universelle. C'est Patrick Durand, l'un des chefs décorateur du film, qui m'a orienté vers le Port-La Nouvelle. Je voulais aussi que le lieu du tournage puisse rassembler tous les décors sur un petit périmètre, cela afin de se concentrer sur les acteurs plutôt que sur les problèmes matériels et logistiques... Là encore, Port-La Nouvelle était l'endroit idéal. On y trouve des univers très variés : le côté villégiature avec la plage, des petits hôtels, une côte un peu bétonnée mais pas trop, la zone industrielle... Il y a aussi cette piste de sable totalement désolée que l'on voit à la fin du film".
Le Passager est la première réalisation du Eric Caravaca, révélé par La Chambre des officiers. Il déclare à ce sujet : "D'abord de l'envie de diriger des acteur. Savoir regarder un acteurs, l'orienter, faire en sorte qu'il s'oublie. Et puis j'ai commencé la photo il y a dix ans. Le désir de mise en scène est aussi venu de ce travail sur l'image. Dans le même temps j'essayais d'écrire un scénario sur la transmission entre pères et fils".