Gus Van Sant s'était déjà intéressé aux derniers jours d'un homme dans Last Days, avec Michael Pitt dans un personnage inspiré du leader de Nirvana Kurt Cobain. Dans Gerry, le cinéaste avait également confronté deux hommes, Casey Affleck et Matt Damon, dans une contrée hostile, la Vallée de la Mort.
L'action de Nos souvenirs prend place dans la forêt d'Aokigahara au Japon, une forêt choisie par de nombreux suicidaires pour mettre fin à leurs jours sans pouvoir être retrouvés. Elle est également connue sous le nom de Jukai, littéralement une "mer d'arbres" qui a donné son titre original au film, The Sea of Trees. Cette même forêt a également inspiré Jason Zada pour tourner The Forest, un film d'horreur avec Natalie Dormer prévu pour 2016.
Gus Van Sant est un grand habitué du Festival de Cannes ; ses films Restless (2011), Paranoid Park (2007), Last Days (2005), Elephant (2003) et Mala Noche (réalisé en 1985 et sorti en France en 2006) y ont tous été sélectionnés.
Nos souvenirs a été présenté en Compétition au Festival de Cannes 2015, où il a reçu un accueil glacial et des huées de la part des critiques internationaux.
Le scénario de Nos Souvenirs est original, en cela qu'il n'est pas le résultat de l'adaptation d'une oeuvre préexistante. Il faisait partie en 2013 de la "liste noire" de Hollywood, regroupant les scénarios des films les plus attendus en attente de production.
Consécutivement au mauvais accueil cannois, la sortie de Nos souvenirs initialement prévue à l'automne 2015 a finalement été repoussée au printemps 2016.
The Sea of Trees avait pour titre français La forêt des songes avant d'être rebaptisé Nos souvenirs.
Malgré les difficultés, Gus Van Sant a réussi à obtenir l'autorisation de tourner au Mont Fuji, où se trouve la forêt d'Aokigahara. Dans le cas contraire, le réalisateur avait déjà envisagé de tourner au nord-ouest des États-Unis, où les paysages sont similaires. Pour les flashbacks retraçant l'histoire du héros interprété par Matthew McConaughey, le tournage s'est déroulé au Massachusetts.
C'est en faisant des recherches sur Google que le scénariste Chris Sparling, un peu à la manière de Matthew McConaughey dans le film, est tombé sur des articles au sujet de la forêt d'Aokigahara.
Chris Sparling a d'abord envisagé d'écrire un film d'horreur, avant de privilégier le chemin de l'émotion. "J'ai mené des recherches et j'ai découvert que certains, en se rendant sur place, hésitent à mourir et changent d'avis, mais que la forêt est tellement labyrinthique que c'est trop tard… la forêt les retient prisonniers", raconte-t-il. "L'idée de voir quelqu'un s'engager dans ce long périple et revenir sur sa décision – le voir réfléchir et se réconcilier avec la vie m'a plu… Ce revirement magnifique d'un être qui a désormais envie de vivre, mais qui est bloqué dans cet endroit et condamné à y mourir – c'est ce cheminement que j'ai trouvé fascinant".