Michel Galabru, fils d'un professeur de l'École Nationale des Ponts-et-chaussées, n'a qu'une idée en tête : devenir professionnel de football. C'est pourtant au théâtre qu'il trouve sa vocation. Il monte à Paris où, après deux ans de préparation, il passe avec succès le concours d'entrée au Conservatoire d'art dramatique. Le jeune comédien obtient un premier prix et entre à la Comédie Française en 1950. Il joue les classiques et en 1951, Jean Devaivre lui propose un premier rôle au cinéma dans Ma femme, ma vache et moi. Il quitte la Comédie Française en 1957 et commence une carrière sur les scènes de boulevards. Il interprète ensuite beaucoup de petits rôles dans des films mineurs.
A partir des années 1960, ses rôles s'étoffent, avec l'arrivée de La Guerre des boutons, le grand succès d'Yves Robert, et surtout Le gendarme de Saint-Tropez de Jean Girault. Son air bourru et franchouillard souvent dépassé par les évènements lui vaut d'interpréter l'adjudant Gerber, chef de "Louis De Funès" Cruchot. Les cinq épisodes du Gendarme, bien qu'inégaux, sont des succès populaires.
En 1971, Le Viager lui ouvre une nouvelle carrière. Il aura attendu vingt ans pour que son talent soit reconnu. L'acteur se voit proposer des rôles dramatiques : une silhouette remarquée dans Section spéciale de Costa-Gavras, puis des premiers rôles, dont celui du policier pervers dans Monsieur Balboss de Jean Marboeuf, et surtout celui qu'il interprète face à Philippe Noiret dans Le Juge et l'Assassin de Bertrand Tavernier, qui le consacre meilleur acteur de l'année lors de la remise des Césars. En 1978, il entame une autre comédie de trois volets. Dans La Cage aux folles, Galabru, en respectable père de famille de son état, se retrouve confronté au couple complètement déjanté Michel Serrault / Ugo Tognazzi. On le voit ensuite en inspecteur de police dans Subway de Luc Besson.
Dans la décennie des années 1990, Michel Galabru se fait plus rare au cinéma : une dizaine de rôles à peine, dont Uranus de Claude Berri ou Hors jeu, dans lequel il interprète son propre rôle. En 1998, il campe le truculent chef d'un village d'irréductibles gaulois dans Astérix et Obélix contre César de Claude Zidi. Par la suite, il joue aux côtés de Jean-Paul Belmondo et André Dussollier pour Les Acteurs de Bertrand Blier.
En 2004, Michel Galabru est à l'affiche de deux films : San Antonio, où il donne à nouveau la réplique à Gérard Depardieu, et Nuit noire de Daniel Colas. Avec Pollux, le manège enchanté, il prête pour la première fois sa voix à un film d'animation. Il retrouve cependant le grand succès en 2008 grâce à Bienvenue chez les Ch'tis, le film aux 20 millions d'entrées dans lequel il apparaît. Les rires de ce film le conduiront à une autre comédie, Bouquet final aux côtés de Didier Bourdon et Gérard Depardieu. L'année 2010 est l'occasion pour lui de faire une nouvelle fois l'étendue de la diversité de son jeu puisqu'il apparaît dans deux films aux genres très différents. Il participe à la naissance du personnage culte de Sempé au cinéma avec le film de Laurent Tirard, Le Petit Nicolas, puis change de registre et joue le grand-père d'une jeune fille en fugue dans Un poison violent, le premier long-métrage de la jeune Katell Quillévéré.