A l'origine, Lettre de Sibérie est un film commandé à Chris Marker en 1957 par l'association France-U.R.S.S., dans le but de proposer un contre-discours sur l'U.R.S.S. Il a fallu à l'équipe très réduite du metteur en scène deux mois et demi pour faire les repérages et tourner le film. Celle-ci fut composée d'André Pierrard, organisateur du voyage, d'Armand Gatti, qui s'est occupé de la documentation sibérienne, de Sacha Vierny, directeur de la photographie, et de Marker lui-même.
La première phrase du commentaire en voix-off de Lettre de Sibérie s'ouvre ainsi : "Je vous écris d'un pays lointain (...)". Cette phrase est une référence au recueil éponyme de lettres écrites d'un étrange pays, publiées par Henri Michaux en 1937. Tout comme pour Lettre de Sibérie, il s'agit dans ces lettres de s'interroger à travers un récit de voyage sur la manière de regarder et d'interroger la question d'objectivité.
Lettre de Sibérie est le seul long métrage de Chris Marker que le critique et théoricien du cinéma André Bazin ait pu voir avant de mourir. L'une des choses les plus importantes pour Bazin chez Marker est la manière dont le texte fait vivre l’image, en conditionne le sens comme dans la très célèbre séquence du bus dans une rue d’Irkoutsk, montrée trois fois avec trois commentaires différents.