Lors de sa sortie en salle, le film ne connait pas le succès. On a reproché à Jacques Becker la prise de position en faveur des criminels. Le Trou trouve cependant des défenseurs dans la Nouvelle Vague, notamment avec François Truffaut qui trouve le film poétique. Il faut des années avant que le film ne devienne une référence à l'égal d'Un condamne a mort s'est échappé de Robert Bresson, auquel Le Trou a souvent été apparenté, et plus tard de L'Évadé d'Alcatraz de Don Siegel.
Après les échecs conjugués de films comme Antoine et Antoinette (1947) ou Edouard et Caroline (1951), Jacques Becker accepte de tourner des films correspondants davantage aux exigences des producteurs, avec des acteurs à succès : Fernandel dans Ali Baba et les 40 voleurs (1954), Robert Lamoureux dans Les Aventures d'Arsène Lupin (1957), Gérard Philipe dans Montparnasse 19 (1958). Avec la Nouvelle Vague, Jacques Becker comprend qu'il peut revenir à un cinéma libéré des contraintes économiques.
L'interprétation faite par des acteurs non professionnels, avec en tête Jean Keraudy, ex-détenu ayant lui-même participé à de véritables évasions de pénitenciers français, contribue à ce que le film paraisse très proche des conditions réelles de détention.
Pour renforcer l'aspect étouffant de la cellule, Jacques Becker use de gros plans et de cadrages très travaillés, appuyés par une trame sonore sans musique, où les petits bruits quotidiens constituent un concert de sons étranges.
Le Trou est adapté du premier roman de José Giovanni, futur réalisateur de La Scoumoune, qui s'est lui-même inspiré de son expérience d'ex-détenu.
Jacques Becker est mort deux semaines après la fin du tournage du Trou. Si le film a été monté en respectant ses souhaits, 24 minutes en ont été amputées par le producteur Serge Silberman pour remédier à son échec commercial.
Jacques Becker filme un long plan de quatre minutes, dans lequel le spectateur est obligé de ressentir l'effort déployé par les prisonniers pour creuser le trou .
Le Trou était considéré par Jean-Pierre Melville comme "le plus beau film français".
La prison de la Santé a été minutieusement reconstituée grâce à l'aide d'anciens détenus qui étaient parvenu à s'en échapper.
Toute la musique que l'on entend dans Le Trou provient d'éléments que l'on peut voir à l'écran ; elle est diégétique car elle fait partie de l'action du film.
Le fils de Jacques Becker, Jean Becker, a été assistant réalisateur sur Le Trou. Il apparaît également dans le film comme gardien de prison.