CC Baxter est un employé de bureau solitaire pour une compagnie d'assurance à New York. Afin de gravir les échelons de l'entreprise, Baxter permet à quatre chefs d'entreprise à utiliser son appartement de leurs diverses liaisons extraconjugales. Insatisfaits de la situation, mais ne voulant pas remettre en cause les gestionnaires, Baxter jongle leurs exigences contradictoires, tout en espérant attirer l'attention opératrice ascenceur Fran Kubelik. Pendant ce temps les voisins de Baxter suppose qu'il est un coureur de jupons et qui ramène à la maison une autre femme tous les soirs. Baxter accepte leur critique plutôt que de révéler la vérité.
Les quatre gestionnaires rédigent des rapports élogieux sur Baxter que le directeur du personnel, M. Sheldrake soupçonne quelque chose d'illicite et fait venir Baxter à son bureau afin de lui faire face. Sheldrake permet la promotion de Baxter et en échange à louer son appartement ainsi, à partir de cette nuit-là. Sheldrake donne à Baxter deux billets pour la comédie musicale de Broadway "The Music Man" pour assurer son absence. Ravie de sa promotion, Baxter demande Mlle Kubelik de le rencontrer au théâtre. Elle accepte, mais (à l'insu de Baxter), car elle est la maîtresse de Sheldrake. Même si elle a l'intention de rompre ce soir-là, elle est plutôt charmé par Sheldrake en allant dans l'appartement de Baxter. Baxter est déçu qu'elle ne soit pas venue mais il est prêt à pardonner Mlle Kubelik.
Lors d'une fête de Noël de bureau, Baxter découvre par inadvertance la relation entre Sheldrake et Miss Kubelik. Pour sa part, Mlle Kubelik apprend de la secrétaire de Sheldrake qu'elle n'est que la dernière femme salariée d'être sa maîtresse, la secrétaire-même avoir été sa maitresse pendant plusieurs années. A l'appartement, Mlle Kubelik confronte Sheldrake avec cette information, et, tandis qu'il maintient qu'il l'aime sincèrement, il l'a quitte pour retourner avec sa famille pour fêter Noeël. Pendant ce temps, Baxter prend une femme dans un bar local et, de retour à l'appartement, est étonné de trouver Mlle Kubelik dans son lit, tout habillé et une overdose de somnifères.
Baxter envoie la fille du bar et fait appel à l'aide de son voisin, le docteur Dreyfus. Baxter téléphones à Sheldrake à son domicile le matin de Noël et l'informe de la situation, tandis que Sheldrake professe sa gratitude. Il demande que sa maitresse reste deux jours, au cours de laquelle il essaie de la divertir et distraire de toute pensée suicidaires.
Là, Baxter ne loue plus son appartement aux anciens "clients".
Sheldrake, en colère envers sa secrétaire d'avoir dit la vérité à Miss Kubelik, la renvoie. Elle se venge en disant à sa femme au sujet de ses infidélités, conduisant à la rupture du mariage. Sheldrake et profite de sa vie de célibataire. Baxter monte en grade et lorsque Sheldrake exige l'appartement pour sa avec Mlle Kubelik pour la Saint-Sylvestre , qui se traduit par Baxter risque de quitter l'entreprise. Quand Miss Kubelik entend cela de Sheldrake, elle se rend compte que Baxter est l'homme qui l'aime vraiment.