La Rumeur est la deuxième adaptation de la pièce de Lilian Hellman après Ils étaient trois, film réalisé par William Wyler lui-même en 1936. Miriam Hopkins qui interprétait Martha dans la version originale joue ici sa tante, Lily. De même Merle Oberon, qui jouait Karen, est devenu Mrs. Tilford. Le film tient son titre original, The Children's Hour, d'un poème de l'Américain Henry Wadsworth Longfellow.
Déjà saluée lors de sa précédente prestation dans La Garçonnière de Billy Wilder, Shirley MacLaine a reçu le Golden Laurel du Meilleur rôle féminin dramatique pour La Rumeur. Dans ses Mémoires, l'actrice confie ses impressions sur la version de William Wyler, qu'elle trouvait peu conforme à l'esprit de l'oeuvre de Lillian Hellman. Selon elle, le cinéaste, "pris de panique à l'idée d'avoir traité une histoire de lesbiennes, coupa toutes les scènes où l'on sentait l'amour de Martha pour Karen, par exemple quand elle repassait amoureusement ses vêtements, lui brossait les cheveux ou lui confectionnait des petits plats." La plupart de ces scènes, en effet supprimées par peur du "Motion Picture Production Code" de l'époque, ont en outre été restituées dans la version DVD de 2004.
La Rumeur est le dernier film en noir et blanc que tourna l'actrice Audrey Hepburn. Tout juste sortie de l'énorme succès de Diamants sur canapé de Blake Edwards, la comédienne retrouve William Wyler pour la seconde fois après Vacances romaines, son premier film hollywoodien aux côtés de Gregory Peck, et pour lequel l'Académie des Oscars lui décerne une statuette en 1954.
Fidèle au texte de la pièce de Lillian Hellman, le scénariste John Michael Hayes a conservé la plupart des dialogues de Ils étaient trois, dont le scénario avait à l'époque été écrit par l'auteur elle-même. Amusant si l'on sait que La Rumeur est censée être une version non-censurée de son original, plus épurée et innocente.
Sur les éditions des VHS et des DVD américains du film, il est précisé qu'à l'origine Katharine Hepburn était pressentie pour l'un des deux rôles finalement attribués à Audrey Hepburn et à Shirley MacLaine. L'actrice un peu plus âgée, aurait en outre été davantage à sa place dans les rôles plus mûrs interprétés par Miriam Hopkins ou encore Fay Bainter.
Dans le documentaire The Celluloid Closet, Shirley MacLaine déplore le manque de franchise des discussions de plateaux concernant le traitement de l'homosexualité dans le film: "Aucun de nous n'en était vraiment conscient. Nous aurions pu voir des signes avant-coureurs (...) mais (...) nous étions dans un état d'esprit où nous ne savions pas réellement ce que nous faisions". La portée et la profondeur d'un tel sujet ne faisant pas partie du lexique de l'époque, les comédiennes principales n'ont même étonnamment jamais abordé le sujet, raconte l'actrice.