Michel Franco avait pour idée initiale un homme suivant une femme dans la rue, sans que le cinéaste sache (encore) dans quel but, ni qui étaient ces personnages. Il se rappelle : "Je pensais débuter-là un polar, sur le thème de la vengeance. Mon instinct était de me dire que lui se sent coupable et qu’elle a raison de s’inquiéter, et puis en discutant avec ma sœur, Victoria, j’ai décidé de partir dans une autre direction, tout en continuant à m’interroger : pourquoi cette femme se rendrait-elle à une soirée d’anciens élèves du lycée, à laquelle elle n’a clairement aucune envie de participer, et lorsqu’elle s’en va, pourquoi quelqu’un la suit ?"
Memory est le cinquième film que Michel Franco tourne avec Yves Cape comme directeur de la photographie. "Nous cherchons toujours l’approche la plus simple, en supprimant des dialogues au fur et à mesure, et nous tournons quasiment dans l’ordre chronologique. Pour autant, chaque projet a sa raison d’être et j’essaie toujours de surprendre le public", explique le metteur en scène.
Jessica Chastain est arrivée sur le projet car son agent et celui de Michel Franco pensaient qu'ils pourraient bien s'entendre. Le cinéaste confie : "Ils avaient raison, puisque nous avons déjà tourné un autre film ensemble. Jessica a parfaitement intégré la nécessité de tourner sans maquillage et de toujours porter les mêmes vêtements, qu’elle a d’ailleurs acheté elle-même dans un magasin discount. Sylvia ne veut séduire personne, elle a complètement éradiqué cet aspect-là de sa personnalité. C’est aussi Jessica qui a suggéré Peter Sarsgaard pour le rôle de Saul."
Tout le film a été tourné à New York en décors naturels, à l’exception de l’appartement de Sylvia, qui a été reconstitué dans une galerie d’art.
Michel Franco avait une seule référence pour Memory : Ainsi va l'amour (Minnie and Moskowitz) de John Cassavetes. Le réalisateur explique : "Parce que c’est une love story entre deux quadragénaires, qui tombent amoureux presque comme des adolescents. J’aimerais que chaque spectateur se demande ce qui va bien pouvoir arriver à Sylvia et Saul."
Le personnage de Saul souffre de démence. Michel Franco a un ami qui lui parlait souvent de ses proches atteints de cette maladie, ce qui a renforcé l'intérêt du réalisateur pour ce sujet : "Les personnes qui souffrent de démence sont plus nombreuses qu’on ne le pense, mais leurs proches n’en parlent pas. Perdre l’esprit, c’est ce qu’il y a de plus terrifiant pour moi. Est-ce que vous êtes encore vous-même, si vous ne savez plus qui vous êtes, si vous perdez la mémoire ?"