Fils d'étameur, Jean-Pierre Darroussin découvre le théâtre au lycée. Enchaînant les petits boulots, il entre en 1976 au Conservatoire, où il rencontre Catherine Frot, sa complice au sein de la Compagnie du Chapeau rouge. Au cinéma, après une apparition non créditée dans Coup de tête, il trouve ses premiers rôles dans trois comédies sorties en 1981 : Celles qu'on n'a pas eues, Psy et Est-ce bien raisonnable ?. Vu ensuite chez Blier (Notre histoire), il compose dans Mes meilleurs copains (1989) un beatnik ahuri qui ne tarde pas à devenir culte.
Grâce à Ariane Ascaride, autre amie du Conservatoire, Darroussin intègre dès 1985 (et le film Ki lo sa ?) la famille Guédiguian. S'imposant comme un pilier de l'univers chaleureux et engagé du Marseillais, il campe un chômeur dans A la vie, à la mort !, un ouvrier électeur du FN dans Marius et Jeannette (1997), un mari délaissé dans Marie-Jo et ses deux amours (2002), un ex-truand dans Lady Jane. Il noue parallèlement une belle complicité avec le tandem Bacri-Jaoui, auteurs de Cuisine et dépendances et Un air de famille, deux pièces à succès devenues des films. Frère envahissant dans le premier, il incarne dans le deuxième un serveur faussement calme, avec à la clé un César du Meilleur second rôle en 1997.
Gagnant ses galons d'acteur populaire, Jean-Pierre Darroussin accède aux premiers rôles à la fin des années 90. Souvent à l'affiche de films de groupes, qu'il s'agisse de fantaisies de Jeanne Labrune (Ca ira mieux demain) ou d'odes à l'amitié virile (15 août, Le Coeur des hommes), il incarne en 2002 le héros fortuné de Ah ! si j'étais riche. Apprécié pour son talent comique, il révèle pourtant dès Le Poulpe, en 1997, une facette plus sombre et mélancolique. Père dépressif dans Qui plume la lune ?, alcoolique obsessionnel dans Feux rouges de Cédric Kahn (2004), il est l'époux de Jodie Foster dans Un long dimanche de fiançailles et le partenaire de Monica Bellucci dans Combien tu m'aimes ?.
Aussi à l'aise dans l'univers délirant des Larrieu que dans celui, plus consensuel, de Jean Becker, il tourne volontiers dans des films de jeunes auteurs (J'attends quelqu'un, Les Grandes personnes). Lui-même passe derrière la caméra en 2005 avec Le Pressentiment, adaptation d'un roman d'Emmanuel Bove. Il retrouve ses acolytes du Cœur des hommes pour deux suite, l'une en 2006 et l'autre en 2013. Dans les années qui suivent, il prouve un peu plus sa polyvalence en alternant avec succès le drame (Fragile(s)) et la comédie (Erreur de la banque en votre faveur, Holiday). En 2008, il se voit une nouvelle fois cité au César pour son rôle dans Dialogue avec mon jardinier.
2011 est une année chargée pour l’acteur puisqu’il est au générique de quatre films bien différents les uns des autres : il maîtrise l’accent du sud dans La Fille du puisatier, joue un salarié à bout de nerfs commettant l'irréparable dans De bon matin, rejoint l’univers poétique d'Aki Kaurismäki dans Le Havre et refait une nouvelle fois équipe avec Robert Guédiguian pour Les Neiges du Kilimandjaro. Il retrouve ce dernier pour Au fil d'Ariane, La Villa et Gloria Mundi.
Entre-temps, Jean-Pierre Darroussin prend part à Marius et Fanny adaptés de la pièce de Marcel Pagnol et mis en scène par quelqu'un qu'il connaît bien en la personne de Daniel Auteuil. Il est aussi à l'affiche du film en costumes Une vie de Stéphane Brizé et de la comédie emmenée par Gérard Lanvin Bon rétablissement ! Il donne également la réplique à Gérard Depardieu devant la caméra de Lucas Belvaux, un autre cinéaste engagé, pour les besoins de Des hommes, qui traite des séquelles liées à la guerre d'Algérie.
Parallèlement, Jean-Pierre Darroussin goûte aux joies du petit écran. Il joue ainsi l'un des personnages principaux du Bureau des légendes, une série d'espionnage française de grande qualité.