Metteur en scène du Quatrième homme, Phil Karlson est considéré comme l'un des plus grands réalisateurs de films noirs américains. Révélé en 1946 grâce au polar Behind the mask, ou l'histoire d'un policier face à un criminel jouant au chat et à la souris avec lui, Phil Karlson signe pendant les années 50 deux des plus grands classiques du film noir à l'américaine, Le Quatrième homme en 1952 puis The Phenix city story en 1955, régulièrement cité en exemple aujourd'hui par Martin Scorsese. Ce cinéaste méconnu, pourtant précédé d'une excellente réputation (l'un des rares de l'époque a respecté les budgets de production de ses films), a entre autres adapté l'écrivain Georges Simenon en 1957 avec Les Frères Rico.
Les acteurs Jack Elam et Lee Van Cleef ont souvent arpenté les plateaux de tournages des westerns et autres polars, et se sont ainsi souvent croisés. Après une première collaboration en 1952 pour Le Quatrième homme, les deux hommes se retrouvent la même année à l'affiche du Train sifflera trois fois, suivi en 1955 par un nouveau western, L' Homme qui n'a pas d'étoile, et la comédie Le Trouillard du Far-West (1956), située dans les déserts de l'Ouest. Leurs dernières retrouvailles datent de 1957, date à laquelle les deux comédiens tournèrent ensemble Règlement de comptes à O.K. Corral.
L'acteur principal John Payne et le réalisateur Phil Karlson ont tourné trois films ensemble, à chaque fois un film noir : Le Quatrième Homme en 1952, L' Affaire de la 99e rue en 1953 et enfin Les Iles de l'enfer en 1955.
L'acteur américain Preston Foster était âgé d'une cinquantaine d'années au moment du tournage du Quatrième homme. Un véritable tournant dans sa carrière, le comédien ne s'étant affiché jusqu'à présent que dans des rôles d'hommes bons, ou au service de la loi, comme il le fit dans Guadalcanal en 1943 où il interprétait le père Donnelly.
Le Quatrième homme est particulièrement connu pour son aspect documentaire, généré par la photographie en noir et blanc granuleuse voulue par le chef-opérateur George E. Diskant.
L'association de malfaiteurs dans Le Quatrième Homme rappelle celle de Usual suspects (Bryan Singer, 1995). Dans les deux films, les hommes de mains sont recrutés séparement, par un homme dont aucun prétend ne connaître l'identité, le mystérieux "Mister Big".