Jean-Pierre Marielle se forme au Conservatoire, d'où il sort avec un deuxième prix de comédie. Là-bas, il se lie d'amitié avec Jean-Paul Belmondo et Jean Rochefort. Après quelques apparitions dans des spectacles de la Comédie-Française, il intègre la compagnie Grenier-Hussenot.

Il commence à jouer des petits rôles au cinéma à partir de 1957 (Le Grand Bluff de Patrice Dally; Tous peuvent me tuer d'Henri Decoin). Peu convaincu par son expérience cinématographique, il retourne vers les planches et le cabaret, notamment aux côtés de Guy Bedos. Mais au cours des années soixante, il obtient des rôles de plus en plus consistants pour le grand écran, notamment avec Peau de banane de Marcel Ophuls (1963), où il joue avec son ancien partenaire du Conservatoire Jean-Paul Belmondo. Il le retrouve dans la comédie Dragées au poivre la même année, puis dans le drame Week-end à Zuydcoote (1964) d'Henri Verneuil. A cette époque, Jean-Pierre Marielle joue souvent les éternels seconds, un rien séducteurs, dans des films comme Monnaie de singe (1966) d'Yves Robert ou Le Diable par la queue (1969) de Philippe de Broca.

Les années 70 débutent bien pour le comédien, puisqu'il décroche enfin des premiers rôles importants dans des films très différents : Sex-shop (1972) de Claude Berri et La Valise de Georges Lautner l'année suivante. Marielle apprécie toujours autant la comédie, comme le prouve sa participation à l'un des derniers films de Michel Audiard : Comment réussir quand on est con et pleurnichard (1974). Souvent partenaire de Philippe Noiret, Marielle joue à ses côtés dans Que la fête commence de Bertrand Tavernier en 1975. L'année suivante, il fait la connaissance d'un cinéaste qu'il retrouve ensuite à plusieurs reprises : Bertrand Blier. Ils tourneront quatre films ensemble : Calmos (1976), Tenue de soirée (1986), Un, deux, trois, soleil (1993) et Les Acteurs (2000).

Au milieu des années 70, Jean-Pierre Marielle diversifie son jeu et enchaîne avec succès les rôles de composition : un pauvre type dans Les Galettes de Pont-Aven de Joël Seria (1975), un homme pris dans la tourmente d'un triangle amoureux dans Un Moment d'égarement (1977) de Claude Berri. Dans Coup de torchon (1981), il relève le défi que lui lance Bertrand Tavernier et interprète deux frères jumeaux, tenanciers d'une maison close. Après quelques films mineurs, Jean-Pierre Marielle casse la baraque dans Hold-Up (1985) d'Alexandre Arcady, aux côtés de Jean-Paul Belmondo et de Kim Cattrall. Il se tourne ensuite vers un film plus sombre, où il joue un flic désespéré dans Les mois d'avril sont meurtriers de Laurent Heynemann (1987).

Les années 90 commencent sous de bons auspices avec Uranus de Claude Berri et le succès surprise de Tous les matins du monde (1991) d'Alain Corneau, pour lequel l'acteur est nominé aux César. Il poursuit avec le film qui lui vaudra une seconde nomination : Max et Jérémie (1992) de Claire Devers. Mais Jean-Pierre Marielle essuie par la suite plusieurs échecs publics dans des films de Patrice Leconte (Les Grands Ducs, 1996) et Bertrand Blier (Les Acteurs, 1999). En 2003, il revient au cinéma avec La Petite Lili de Claude Miller avant d'enchaîner des projets aussi divers que le délirant Atomik Circus, le retour de James Bataille (2004) des frères Poiraud ou le drame d'Yves Angelo, Les Ames grises (2005). Il se fait également remarquer aux yeux du monde entier en incarnant le conservateur du musée du Louvre dans la superproduction américaine Da Vinci code (2006) de Ron Howard.

En 2007, il prête sa célèbre voix, à la fois grave et enjouée, au chef cuisinier Gusteau dans le film d'animation des Studios Pixar, Ratatouille, avant de tenir le haut de l'affiche de la comédie Faut que ça danse ! de Noémie Lvovsky aux côtés de Valeria Bruni Tedeschi et de Sabine Azéma. En 2008, il remporte le prix Lumière pour l'ensemble de sa carrière. Cependant, cette reconnaissance est loin de lui donner envie de prendre sa retraite ! Après quelques passages dans des docu-fictions à la télévision (Livrez-nous Grynszpan, Darwin (r)évolution), Marielle revient au cinéma dans l'univers enchanté de Micmacs à tire-larigot (2009) de Jean-Pierre Jeunet. Puis il explore le monde étrange de Jean-Teddy Filippe le temps du film Le Mystère au casting éclectique : Carole Bouquet, Alexandra Lamy et André Dussollier.

Mais la comédie n'est jamais très loin dans le parcours de l'acteur. C'est ce qu'il démontre à nouveau avec son rôle dans Pièce montée (2010), où une famille bourgeoise se dit ses quatre vérités pendant le mariage de Clémence Poésy et de Jérémie Renier. C'est dans un milieu tout à fait différent que l'on retrouve Jean-Pierre Marielle en 2012. Il se retrouve ainsi à aider une équipe de foot bretonne, dont font partie des joueurs confirmés de la comédie comme Omar Sy ou Gad Elmaleh, dans le film Les Seigneurs d'Olivier Dahan.

L'acteur s'oriente ensuite du côté du petit écran en apparaissant dans des téléfilms comme Indiscrétions ou Des roses en hiver. Il retourne un peu du côté du 7ème art en 2014 avec la comédie romantique Tu veux ou tu veux pas avec Patrick Bruel et Sophie Marceau. L'année suivante, le natif de Dijon prête sa voix caverneuse pour le film d'animation Phantom Boy avant de retourner vers la petite lucarne pour tourner un épisode de la série policière Capitaine Marleau avec Corinne Masiero. À noter que le comédien a été nommé 7 fois au César du meilleur acteur sans jamais remporter la statuette. Il déclare à ce sujet : "Les César ? J'en ai rien à foutre, je ne suis pas un acteur de tombola."

Il meurt le 24 avril 2019 à l'âge de 87 ans.