La réalisatrice du film, Ida Lupino, s'est tout d'abord fait connaitre en tant qu'actrice, notamment dans La Grande évasion (1941) avec Humphrey Bogart, ou dans La Maison dans l'ombre de Nicholas Ray, en 1952. Elle s'est mise à réaliser des films suite à la défection du réalisateur Elmer Clifton sur Avant de t'aimer en 1949, un film qu'elle produisait avec son mari Collier Young. Elle l'a alors remplacé pour l'occasion, et a sans doute pris goût à l'expérience, puisqu'elle a par la suite réalisé sept longs métrages, et plus de 30 épisodes de séries télévisées.
Le voyage de la peur se fit longtemps connaître comme le premier film noir réalisé par une femme, en l'occurrence Ida Lupino. Une renommée erronée, car Edith Carlmar avait déjà mis en scène un film de ce genre en 1949, intitulé Death is a Caress.
Le tournage du Voyage de la peur s'est déroulé du 24 juin 1952 à la fin du mois de juillet de la même année, principalement en Californie, dans les Alabama Hills. Pendant sa production, le film a connu plusieurs titres provisoires, tels que "The Difference" et "The Persuader".