Bernard Jeanjean explique les motivations à l'origine de ce film : "Dans J'me sens pas belle, je voulais raconter une histoire de couple, la rencontre avec le désir et la peur que cela engendre. Dans mon deuxième long, je voulais de nouveau parler du couple mais une fois qu'il est installé, quand on a trouvé l'amour et que l'on a parfois peur de le perdre. Voilà, le fond de l'histoire. Pour la forme, je savais que je voulais encore faire une comédie romantique. Petit à petit, l'histoire du psychanalyste m'est venue. Je pensais que ce serait sympa, une situation un peu "à la Veber" où un patient tout à coup raconte à un psychanalyste qu'il a rencontré une femme mariée et le psy s'aperçoit que c'est lui le mari."
Pour Bernard Jeanjean, l'idée de J'veux pas que tu t'en ailles lui est venue en regardant un épisode de la série Friends. "Il y avait un épisode où les héros cachaient, chacun leur tour, quelque chose à leurs amis, explique le réalisateur, sauf que l'ami s'apercevait qu'il savait et donc chacun à son tour savait que chacun savait que chacun savait. Je me suis dit que j'aimerais bien écrire une histoire comme celle-là."
Bernard Jeanjean a choisi l'univers de la psychanalyse pour plusieurs raisons. Il s'en explique : "je fais un travail sur moi permanent, je suis en analyse et chacun de mes comédiens, je crois qu'ils ne s'en cachent pas, travaille là-dessus également. C'est aussi l'univers de Woody Allen. Ca me plaît, ça m'intéresse et je trouve que c'est une situation extrêmement dramatique, il y a une ironie constante. Normalement, ce sont des gens qui connaissent bien l'individu, qui sont là pour aider les autres et tout à coup, quand ça les concerne eux, ils sont perdus... Montrer quelqu'un qui résout tous les problèmes, alors que lui-même va se montrer totalement immature face à son problème, je trouve ça extrêmement humain et vrai."
J'veux pas que tu t'en ailles marque les retrouvailles de Bernard Jeanjean avec Julien Boisselier, les deux hommes ayant collaboré auparavant sur la comédie romantique J'me sens pas belle. Le réalisateur décrit le comédien en ces termes : "pour moi, Julien est tout simplement l'un des plus grands acteurs de sa génération. Il est totalement en devenir, c'est un "Patrick Dewaere" en fait, quelqu'un qui est capable d'être extrêmement drôle et aussi extrêmement violent. C'est un écorché vif et je pense, en tout cas, je lui souhaite, que l'on va le découvrir de plus en plus. Il n'a pas peur du ridicule et il peut aller très, très loin physiquement. Dans la génération d'avant, on avait Patrick Dewaere ou encore Jean-Pierre Marielle, qui étaient des acteurs un peu à part mais qui avaient une humanité très grande. Il leur ressemble."
Bernard Jeanjean a pour habitude de fonctionner par situations. "Je me dis : "tiens le type sur le divan qui raconte quelque chose à l'autre qui est intimement concerné par ça, cela va créer une ironie très forte chez le spectateur, une empathie, une cruauté mais aussi une humanité", confie-t-il. En général, les dialogues viennent après. Au départ, je polarise vraiment sur la situation et comment je peux l'exploiter au maximum, en partant de quelque chose de très simple le mari, l'amant, la femme, à la limite du vaudeville. Je dirais que ça vient aussi de là : prendre une trame classique et l'amener vers quelque chose de moderne, de contemporain et même de générationnel."
Pour la direction d'acteurs, Bernard Jeanjean procédait d'une façon différente avec chacun de ses comédiens. "Avec Julien Boisselier, on se parle peu, explique-t-il. Un ou deux mots suffisent pour que l'on se comprenne. Il a une lecture très facile de ce que je fais puisqu'on se connaît bien. En général, j'ai juste à le pousser dans ses retranchements, je tente de lui faire lâcher prise parce que je connais aussi très bien ce qu'il sait faire, donc j'essaye de l'amener dans des terrains inconnus. Avec Richard Berry, c'est différent. Il a une telle expérience, et c'est lui-même un metteur en scène. Avec lui non plus, il n'y a pas grand chose à dire, il faut surtout être bien connecté et être profondément à son écoute, et quand on est à son écoute, on voit où il veut aller et alors on a juste à pousser un petit peu par ci ou un petit peu par là. Il faut surtout, je crois, lui faire conserver la jubilation parce que Richard, pour le reste, il sait tout faire. Judith Godrèche a une grande intelligence du texte et elle demande un véritable dialogue. Avec elle, il n'y a pas tellement de direction d'acteur sur le moment, il y a une discussion avant, sur les partis pris du personnage."
Martine Fontaine, l'épouse de Bernard Jeanjean, a collaboré à l'écriture du scénario et interprète un petit rôle dans J'veux pas que tu t'en ailles, celui d'Emma.
A l'origine, c'est Isabelle Carré qui devait interpréter le personnage de Carla, mais prise par le tournage d'Anna M., elle ne put se joindre à l'équipe du film.
Le tournage s'est déroulé en mai 2006 à Paris et ses environs.