Faisant partie des libérateurs de la France occupée en juin 1944, Jean Lefebvre se destine à une carrière de chanteur de cabaret avant de se tourner finalement vers la comédie. Dans les années cinquante, il multiplie les timides apparitions dans Les Diaboliques (1955), Gas-oil (id.), Et Dieu créa la femme (1956) ou encore Un drôle de dimanche (1958).
A partir de la décennie suivante, il se spécialise dans le registre comique, intégrant la troupe des Branquignols pour La Belle Américaine (1961) et donnant la réplique à des comédiens de renom comme Jean Gabin (Le Gentleman d'Epsom, 1962) et Louis De Funès aux côtés de qui il incarne le maréchal des logis Lucien Fougasse dans la saga du Gendarme de Saint-Tropez. Parallèlement, Jean Lefebvre se trouve un réalisateur à qui il restera fidèle : Georges Lautner. Débute alors une fructueuse collaboration émaillée de quelques gros succès que viennent enrichir les dialogues de Michel Audiard : Les Tontons flingueurs (1963), Les Bons vivants (1965) et Ne nous fâchons pas (1966).
En 1967, Jean Lefebvre se retrouve pour la première fois en tête d'affiche d'une comédie intitulée Un idiot à Paris. Dans les années 70, il est au faîte de sa carrière avec la trilogie Mais où est donc passée la septième compagnie ?, mais la qualité ne suit pas toujours. Cantonné aux éternels seconds rôles de benêt et d'individu dépassé par les événements, Jean Lefebvre enchaîne dès lors des films restés mémorables pour leur titre : C'est pas parce qu'on n'a rien à dire qu'il faut fermer sa gueule (1975), La Situation est grave... mais pas désespérée (1976), Ils sont fous ces sorciers (1978) ou encore On n'est pas sorti de l'auberge (1982) de Max Pécas.
Au tournant des années 80-90, l'homme aux quatre épouses se consacre essentiellement au petit écran, en interprétant les téléfilms La Grande embrouille (1990) et Papy super star (1991), et au théâtre, en se produisant dans Pauvre France. Infatigable, il reprend la pièce Les Jumeaux au Théâtre des Nouveautés à Paris. Côté cinéma, sa dernière apparition marquante remonte à 2001 avec Fifi Martingale, une comédie de Jacques Rozier restée inédite en salles.