Claire Simon a découvert le texte Je voudrais parler de Duras, qu'elle a trouvé "fulgurant", au moment de sa parution en 2016. La réalisatrice se rappelle : "Ce que dit Yann Andréa dans tout cet entretien est d'une telle précision, d'une telle intelligence sur son point de vue, sans qu'il n'y ait jamais aucune plainte de sa part... J’ai trouvé ça très fort. Plus tard, alors qu’une amie metteuse en scène travaillait sur Duras, j’ai relu Je voudrais parler de Duras et j’étais toujours subjuguée. Je me suis dit : "Ce n'est pas du tout pour le cinéma, alors allons-y !" C'est plus facile de mettre en scène un texte au théâtre, mais je crois que la conversation peut être une scène de cinéma. J'avais le sentiment qu'il fallait fabriquer cette archive qui était manquante."
C'est le fait qu'il soit centré sur la parole du "faible" (l'amoureux, le fan) dans la relation amoureuse qui a le plus touché Claire Simon dans les entretiens de Yann Andréa avec Michèle Manceaux : "Toutes ces choses me paraissent d'une modernité totale, à la fois sur la célébrité qui est importante pour les gens aujourd'hui, mais aussi dans l'inversion des rôles : c'est un homme dominé par une femme. Or lui, avec sa culture d'homme, il arrive à nommer ce qu'est la position du faible, la sienne, avec une lucidité et une précision extraordinaires, que je n'ai pas toujours trouvées dans l'autre sens."
"Il raconte au fond ce qui est arrivé à d’innombrables femmes - quand l’autre vous dit : “Vous n’existez pas, vous n’existez qu’à travers moi”... Ça fait des millénaires que les femmes entendent ça ! Sauf que lui, c'est un homme, et il est surpris d'être dans cette situation."
Claire Simon a fait apparaître cette dimension sexuelle dans le film avec un procédé bien particulier : des dessins où l'on reconnaît les corps et les visages des protagonistes. La cinéaste ne voulait, en effet, pas filmer ces scènes pour ne pas avoir à faire appel à des acteurs pornographiques. Elle précise :
"Mais ça aurait voulu dire ne filmer que certaines parties du corps, filmer les sexes et pas les visages, tandis qu'un dessin permet de mettre le visage et le sexe dans le même cadre, ce que je trouve important dans la sexualité. Comme réalisatrice, comme metteuse en scène féministe, je voulais trouver un moyen de représenter cette sexualité à la fois cinématographiquement, mais qui ne soit pas dominée par l'imaginaire de l'industrie du sexe au profit des dominants."
Marguerite Duras apparaît uniquement dans des images d'archives : Claire Simon n'a donc pas fait appel à une comédienne pour la jouer. La réalisatrice voulait que la célèbre artiste soit à la fois présente et invisible telle qu’elle l’a été pendant l’entretien entre Michèle Manceaux et Yann Andréa :
"On comprend qu’elle est dans la pièce du dessous, qu’elle téléphone à Yann pendant qu’il est en train de parler, mais nous ne la voyons pas. En revanche je voulais qu’il y ait quelques archives avec elle pour que les spectateurs mesurent son charme inouï, sa force… Et son amour pour Yann : on le voit à un moment, quand elle parle de lui, en disant “cet errant moderne”, on voit qu’elle est fascinée et folle amoureuse de lui."
Claire Simon a fimé les entretiens en un seul plan séquence pour donner une impression de temps réel. Ainsi, lorsque Emmanuelle Devos écoute Swann Arlaud, elle le fait vraiment. Les acteurs, au début, pensaient que la cinéaste allait tourner à deux caméras, ce qu'elle ne souhaitait pas :
"Alors je me suis entraînée pour filmer ces plans d’un seul tenant – ce sont des plans très complexes, qui durent 35 à 40 minutes, que j'ai dessinés. Quand je tourne, je sais exactement ce que je vais faire, même si j’improvise un peu puisque c’est moi qui cadre."
"Ça n’est pas, par exemple, la façon dont a été filmée la série En Thérapie, avec des champs et contrechamps. Moi, j'ai besoin que tout soit vrai, en temps réel - j'en ai besoin pour les acteurs, pour que leur génie se déploie, et pour mon plaisir de cadreuse et de metteure en scène."
Dans Vous ne désirez que moi, Claire Simon fait également apparaître une autre dimension de la sexualité : l'homosexualité masculine. On est ainsi surpris par la violence homophobe des propos de Marguerite Duras sur Yann Andréa. La réalisatrice précise :
"La scène du bois, une scène de drague homosexuelle, c'est une scène que j'ai tournée parce je voulais indiquer comment Michèle Manceaux se représente la sexualité entre hommes, la drague, la séduction. C'est aussi une manière de rendre justice à Yann, puisque dans sa relation avec Duras, elle le lui interdit, elle ne veut pas qu'il ait aussi des relations avec des hommes."
"Et je me suis rendu compte que si je ne filmais pas cette scène, j'étais dans un regard hétérocentré, dominant. Ce qui aurait mis le film du côté de Michèle Manceaux et de Marguerite Duras, des femmes hétérosexuelles qui ne veulent pas admettre que Yann soit homosexuel."