A l'époque du tournage d'Infidèlement votre, Rex Harrison était marié à la vedette allemande Lilli Palmer, mais entretenait une liaison avec Carole Landis. Or, le 5 juin 1948, quelques mois avant la sortie du film, cette jeune comédienne met fin à ses jours, et c'est Rex Harrison qui découvre son corps. Effrayée par les rumeurs courant autour de la responsabilité de l'acteur dans ce suicide, la Fox décide de voir à la baisse les dépenses de promotion du film. Rappelons qu'il y est question d'un homme qui imagine différentes façons de tuer son épouse... Voilà une des explications de l'échec commercial de cette comédie.
Après avoir quitté la Paramount, à laquelle il fut associé de 1938 à 1944, puis collaboré brièvement avec Howard Hughes (sur The Sin of Harold Diddlebock), Preston Sturges rejoint la Fox en 1947. Il tournera ensuite un autre film pour le studio de Darryl F. Zanuck, Mam'zelle mitraillette.
Comme le voulait sa réputation, Darryl F. Zanuck s'est montré très envahissant sur le plateau, multipliant les "mémos" afin d'indiquer à Preston Sturges tout ce qui ne lui convenait pas. Le producteur a aussi demandé au cinéaste de couper plusieurs minutes du film. Celui-ci s'est executé, mais Zanuck a jugé les coupes insuffisantes, et a donc décidé de procéder lui-même à des coupes supplémentaires.
Deux ans avant Infidèlement votre, Rex Harrison et Linda Darnell s'étaient donné la réplique dans Anna et le roi de Siam et John Cromwell.
James Mason avait été pressenti pour tenir le rôle principal.
Le personnage de Daphné fut d'abord proposé à Gene Tierney, mais l'héroïne de Laura a repondu qu'elle n'était pas intéressée par ce rôle.
Le personnage principal du film est inspiré (en partie) du chef d'orchestre britannique Sir Thomas Beecham. Celui-ci était le petit-fils de l'inventeur d'une fameuse pilule aux vertus laxatives portant le même nom. Le héros d'Infidèlement votre s'appelle d'ailleurs Carter, nom de l'équivalent américain de ces pilules...
La dernière épouse de Preston Sturges, Sandy, confie que les mots d'amour que dit Alfred à Daphné à la fin du film ("Pendant mille ans, des poètes en ont rêvé, et tu es arrivée...") ont souvent été prononcés par le cinéaste lui-même, à l'intention de ses compagnes successives...
En 1984, Howard Zieff (My Girl) a réalisé un remake d'Infidèlement votre, sorti en France sous le titre Faut pas en faire un drame, avec dans les rôles principaux Dudley Moore et Nastassja Kinski.