Pour son 2e film, Lola Doillon se penche sur le syndrome de Stockholm, phénomène psychique qui se caractérise par l'empathie que peut développer une victime pour son ravisseur. Particulièrement intéressée par les histoires d'otages, la réalisatrice a voulu saisir les sentiments d'une personne enfermée avec quelqu'un qu'elle déteste : "Ce qui m'intéressait, c'était donc le moment où la situation change, le renversement, ce fameux "syndrome de Stockholm" : cette idée que l'on puisse finalement éprouver un sentiment (...) pour son agresseur. Comment s'opère ce renversement et pourquoi, c'était des questions qui m'interpelaient depuis longtemps."
Alors que son 1er et précédent film, Et toi, t'es sur qui ? avait pour protagonistes des adolescents, Contre toi se concentre au contraire sur deux adultes : "il y a eu d'abord l'envie de (...) faire un film avec des adultes, et une histoire d'amour." Une volonté de la part de la réalisatrice de changer de registre : "j'avais envie de m'aventurer dans une zone (..) plus périlleuse, que je ne connaissais pas, qu'il y ait une sorte de défi."
Pendant l'écriture du scénario, Lola Doillon n'a eu de cesse de penser à Kristin Scott Thomas pour incarner Anna. "Pour moi Kristin est une femme qui a une image de contrôle absolu et c'était fort, symboliquement, de voir cette image se casser. Elle s'est donc imposée à moi lors de l'écriture." Un rôle que l'actrice a accepté très vite : "Parfois on a envie de faire un film juste pour faire un bout de chemin avec un metteur en scène. (...) Et j'avais envie de jouer avec Lola. (...) C'était archi simple, je ne me suis pas posée la question de savoir si elle était capable de faire ce film, c'était évident."
A l'inverse, Pio Marmai ne s'est pas immédiatement imposé aux yeux de Lola Doillon pour interpréter le rôle de Yann : "je l'avais vu dans Le Premier jour du reste de ta vie, et pour moi ce n'était pas du tout le personnage !" Une situation qui s'est renversée lors des essais : "il est entré dans la pièce, il a dit trois mots et c'était lui, Yann !"
Toute une partie du film se déroulant en huis-clos, le décor de la pièce de séquestration tient une grande importance. L'un des principaux défis pour la réalisatrice était de savoir comment filmer cette pièce : "on s'est demandé (avec le chef opérateur Mathieu Vadepied) comment on allait faire pour passer une moitié du film dans un si petit espace. Comment on allait filmer cette partie sans être répétitif."
Le tournage a débuté par les scènes de séquestration et l'équipe du film a donc passé trois semaines dans cette pièce. Pour Kristin Scott Thomas, "au début, c'était assez angoissant ce décor, cette sorte de boîte. (...) Et en fait, l'enfermement, j'ai bien aimé. J'étais très bien dans cette pièce !" Quant à Pio Marmai, "J'ai eu l'impression que cette pièce de quatre mètres sur six était le troisième personnage. D'habitude, au bout d'une semaine dans un même décor, on a l'impression que l'on a tout exploité, et là j'ai vu qu'en fait, il y avait toujours la possibilité de s'appuyer sur un élément de ce décor, de jouer avec l'espace."
Une fois arrivée au montage, Lola Doillon a décidé de réunir les scènes d'enfermement en un seul bloc : "Il ne fallait pas avoir peur de faire de la pièce un troisième personnage."
Kristin Scott Thomas s'est préparée par le biais d'un livre sur une femme séquestrée en Amérique du Sud mais également avec le témoignage d'une amie actrice, Denise Black, kidnappée en Afrique du Sud : "elle m'a expliqué qu'elle avait eu la peur de sa vie, mais qu'en même temps, elle tentait d'envoyer de l'amour à son ravisseur (...) parce que m'a-t-elle dit : "c'était sa seule arme"."
Pio Marmai a, quant à lui, tenter de se projeter dans la peau de son personnage : "C'est un travail de lecture, d'imagination, de réflexion qui commence pour moi un mois avant que ne débute le tournage." Pendant le tournage, l'acteur a eu des difficultés à sortir de son personnage hors des prises : "Au bout d'un moment ça commençait à me peser. J'ai très peu dormi pendant le tournage, à peine 4 heures par nuit ! C'était assez troublant."
Pio Marmai et Kristin Scott Thomas sont pendant une grande partie du film seuls devant la caméra. Un avantage pour les deux acteurs qui leur a permis de se sentir plus à l'aise. "Ça vous permet de prendre appui sur quelqu'un pour travailler. (...) Travailler avec une seule partenaire m'a rassuré. Il y avait une confiance mutuelle." confie Pio Marmai. Pour l'actrice anglaise, "nous étions deux acteurs, en sûreté dans ce lieu clos avec deux personnes extrêmement douées, Lola Doillon et le chef opérateur Mathieu Vadepied (...). C'était vraiment formidable ce sentiment d'être encadré."
Le film est co-produit par Ce Qui Me Meut, la société de production créée en 1998 par Cédric Klapisch, qui est par ailleurs le compagnon de Lola Doillon. Le nom de la société est tiré du premier court-métrage éponyme du réalisateur.