Au départ, le script, inspiré d'un fait divers, écrit par Chester Erskine et confié au cinéaste s'intitule Murder story. Preminger n'en est pas satisfait et demande à de proches collaborateurs, Oscar Millard et Frank S. Nugent , de le retravailler.
Le contrat de Jean Simmons avec la RKO doit bientôt arriver à son terme, et Howard Hughes, en conflit avec la comédienne, tient à lui faire tourner un nouveau film en 18 jours... L'actrice, rebelle, a coupé ses longs cheveux, sachant que le patron du studio n'aimait pas les actrices aux cheveux courts. Pour tourner un film en si peu de temps, Hughes choisit Otto Preminger, demandant au réalisateur, déjà connu pour son caractère tyrannique, de faire preuve de fermeté. Celui-ci est donc particulièrement dur avec l'actrice pendant le tournage. Il insiste notamment pour que, lors d'une scène, Robert Mitchum gifle réellement, et plusieurs fois, Simmons, ce qui déplaît fortement à l'acteur. Au bout de plusieurs prises, celui-ci se tourne vers le cinéaste et le gifle violemment. La prise suivante fut la bonne.
Deux ans après Un si doux visage, Robert Mitchum tournera de nouveau sous la direction d'Otto Preminger dans Rivière sans retour avec Marilyn Monroe.
La musique du film est signée Dimitri Tiomkin, un des plus célèbres compositeurs du cinéma hollywoodien. D'origine russe, ce fidèle collaborateur de Frank Capra est également l'auteur de plusieurs partitions pour Alfred Hitchcock. Il reçut plusieurs Oscars, dont l'un en 1952 pour Le Train sifflera trois fois.
Le couple vedette d'Un si doux visage sera réuni en 1954 dans She couldn't say no de Lloyd Bacon, et en 1960 dans Ailleurs l'herbe est plus verte de Stanley Donen.
En 1964, Jean-Luc Godard, alors critique aux Cahiers du cinéma, établit dans la revue sa liste des dix meilleurs films américains parlants. Un si doux visage figure en 8e position de cette liste, dont le tiercé de tête est composé de Scarface, Le Dictateur et Sueurs froides.
Le noir et blanc d'Un si doux visage est l'oeuvre d'Harry Stradling, chef-opérateur qui a débuté au temps du muet, et qui travaillera notamment sur Johnny Guitar et plus tard, de grandes comédies musicales comme My Fair Lady ou Hello Dolly !. Il est le père d'Harry Stradling Jr., lui-même directeur de la photographie.
Dans son autobiographie, Otto Preminger raconte que le chef-opérateur Harry Stradling, fatigué, a hésité avant d'accepter de collaborer à ce film. Il a finalement donné son accord, à condition qu'Howard Hughes, alors patron de la RKO mais aussi de la compagnie aérienne TWA, lui offre deux billets d'avions à destination de l'Europe, pour qu'il puisse partir en voyage avec son épouse. Hughes a répondu favorablement à cette demande, et, sitôt le tournage terminé, Stradling s'envolait vers le Vieux continent.