Quatrième fils de la famille Marx, Julius Henry Marx de son vrai nom, débute très jeune (et le premier de la famille) une carrière artistique. Après avoir quitté l'école publique, il commence ses tournées dans les music-hall des petites villes américaines dès l'âge de quatorze ans, bientôt accompagné de ses frères.
Après diverses compositions et recompositions de la troupe Marx (incorporant soit tour à tour soit en même temps Chico Marx, Zeppo Marx, Gummo Marx, Harpo Marx et même la propre mère et la vieille tante de la famille) cette joyeuse troupe se fixe sur quatre frères d'abord Groucho, Chico, Harpo et Zeppo. Le succès de leur première pièce à Broadway I'll say she is leur donne une reconnaissance immédiate. Ils tentent alors eux-même de produire leur premier film HumoRisk en 1927, dont les quelques copies que Groucho et ses frères tentèrent d'apporter à quelques cinémas furent tout de suite rejetées, les exploitants de Nickelodeons trouvant le film si mauvais qu'il ne l'estimait pas digne d'être diffusé une seule fois. C'est après leur deuxième succès sur les planches de Broadway avec Coco-a-nut que la Paramount leur propose leur premier contrat cinématographique.
Les deux premiers films de la troupe sont donc les adaptations de leurs pièces Noix de coco et L' Explorateur en folie. Suivent trois films avec la Paramount qui renforcèrent leur succès Monnaie de singe, Plumes de cheval et le déjanté La Soupe au canard. La MGM n'hésite pas longtemps à proposer un contrat alléchant aux frères mais Zeppo quitte définitivement la troupe. L'humour de Groucho, décapant inventif et arrogant, lui vaut d'être une des personnalités les plus populaires de l'Amérique en tant de guerre.
La période MGM des trois frères sera tout aussi prolifique que la période Paramount mais moins ambitieuse et, dès les années 40, Groucho anime parallèlement à la radio une émission de radio qui remporta un grand succès : You bet your life. Après leur dernier film pour la MGM Une Nuit à Casablanca en 1946, l'émission de radio sera adaptée à la télévision jusqu'en 1961 et son succès ne fera que s'accroître.
Après le dernier film assez inconsistant des Marx brothers La Peche au tresor en 1949 il se consacre principalement à sa véritable passion : l'écriture. En 1959 sort son autobiographie Groucho and me (Mémoires capitales). Suivront quelques livres (Mémoires d'un amant lamentable...) et de nombreuses notes et articles pour divers journaux ou revues.
Son humour frais et absurde aura inspiré des cinéastes comme Woody Allen, avec qui il devint même ami vers la fin de sa vie. Le 19 août 1977, trois ans après avoir été nommé Commandeur des Arts et des Lettres en 1974 par le gouvernement français, il meurt d'une pneumonie dans sa maison de Los Angeles.