Dans Casse-tête chinois, Xavier a maintenant 40 ans. On le retrouve avec Wendy, Isabelle et Martine dix ans après Les Poupées russes. Sa vie ne s'est pas forcément rangée et tout semble même devenir de plus en plus compliqué. Désormais père de deux enfants, son virus du voyage l'entraîne cette fois à New York, au beau milieu de Chinatown. Dans un joyeux bordel, Xavier cherche sa place en tant que fils, en tant que père... en tant qu'homme en fait !
Dans ce troisième volet consacré aux aventures mouvementées de Xavier, Cédric Klapisch a dû faire face à une difficulté que plusieurs cinéastes ont connu : trouver quelqu'un qui puisse reprendre un personnage qu'un acteur décédé jouait. Il a ainsi été contraint de trouver un remplaçant à Jacno, qui campait le père du héros dans L'Auberge espagnole. Mort en 2009 des suites d'un cancer, le célèbre musicien n'était pas au casting des Poupées russes mais son personnage devait être à celui de Casse-tête chinois.
Benoît Jacquot est alors apparu comme une évidence à Cédric Klapisch, pour sa ressemblance physique avec l'ex-interprète du papa de Xavier, mais pas seulement : "Deux infos étaient données sur le père de Xavier dans L'Auberge espagnole : il travaille dans la finance et, comme Jacno, il a aussi un côté rock’n’roll. Du coup pour trouver le remplaçant c'était super difficile. Et je ne sais pas pourquoi, mais au moment de la sortie des Adieux à la reine, je me suis dit que Benoît avait un physique qui pourrait marcher à côté de Romain et j’y croyais pour les aspects 'finance et rock’n’roll'…"
Cédric Klapisch a finalement téléphoné au réalisateur des Adieux a la reine : "Certes il y avait une inconnue sur sa capacité à jouer… Et pour cause puisqu'il n'a quasiment jamais fait l’acteur !" je lui ai demandé : "Benoît, tu accepterais ?" Il y a eu un blanc. Et il m'a répondu : "J'accepte si toi tu acceptes de jouer dans mon prochain film." Du coup j'étais emmerdé parce que c'est un drôle de miroir qu'il m'a tendu… Mais je trouvais ça intéressant que le père de Xavier soit joué par un réalisateur, alors du coup j'ai dit oui. (…) Mais j'espère qu'il a oublié… (rires)."
A noter que Benoît Jacquot avait déjà rencontré Romain Duris à l'occasion de son drame Adolphe, sorti quelques mois après L'Auberge espagnole en 2002.