C'est un rêve de Gerald Di Pego qui est à l'origine du scénario. Une nuit, le scénariste fit un rêve étrange, dans lequel il vit une photo de famille montrant une mère, un père et leur jeune fils. Lentement, l'image commença à s'effacer, pour finir par disparaître. Gerald DiPego se réveilla en sursaut. Il était 6 h 30. La mystérieuse image continua de le hanter. Deux heures plus tard, il réveillait sa femme en lui disant " Je crois que je tiens une histoire ! ".
Nicole Kidman devait au départ jouer le rôle finalement dévolu à Julianne Moore pour Mémoire effacée.
Avant le début du tournage, Alfre Woodard passa du temps auprès d'une femme policier au NYPD. Elle raconte : " Cette femme policier m'a dit que dans les cas où une femme est impliquée, elle commence toujours par regarder les hommes qui l'entourent. Souvent, il est inutile d'aller plus loin. Elle dit aussi qu'elle a tendance à croire les femmes, surtout lorsque celles-ci parlent avec leur coeur. "
La ville de New York apparaît comme un véritable personnage du film. Le tournage a commencé à l'automne 2003 à Brooklyn, dans le quartier surnommé " Dumbo " (Down Under the Manhattan Bridge Overpass), situé entre les ponts de Manhattan et de Brooklyn. C'est là qu'ont été filmés les extérieurs de l'appartement d'Ash Correll et plusieurs scènes de poursuite.
Plusieurs jours de tournage se sont déroulés dans le quartier de Wall Street à Manhattan, à la Chase Manhattan Plaza, avec sa sculpture Groupe de quatre arbres de Jean Dubuffet. Plusieurs scènes ont aussi été filmées à l'extérieur de New York, notamment au Harriman State Park à Rockland County et à l'aéroport de Westchester à White Plains, ainsi qu'à Long Island, dans une maison sur la plage à Hampton Bays et dans les dunes du Caumsett State Historic Park à Huntington.
Tourner à New York signifiait affronter une météo imprévisible et capricieuse. Steve Nicolaides raconte : " Le réalisateur et le patron du studio voulaient que le film ait un style visuel froid, hivernal. Nous avons commencé à tourner fin octobre, une époque très instable sur le plan météo parce qu'on passe de l'automne à l'hiver. L'histoire, elle, se déroule sur seulement deux semaines. Il faut donc faire attention à ce que ce qu'on tourne en octobre soit toujours valable quand on tourne en janvier. "
Joseph Ruben a établi dès le départ un ensemble de règles visuelles pour le style du film. Souhaitant une atmosphère glaciale mais très belle, avec une lumière chaude seulement dans les chambres des enfants, il décida l'utilisation de longues focales pour donner un sentiment de paranoïa, l'impression d'être observé, et d'optiques grand angle pour donner une vision légèrement distordue de ce monde. Le cinéaste ajoute : "Pour la couleur, nous avons pratiquement tout supprimé, sauf dans les scènes impliquant les enfants. Il n'y a pas de rouge dans le film, sauf le roux des cheveux de Julianne."