Fils de la comédienne Arlette Thomas (qui fut la voix de Caliméro et du canari Titi), Pierre Jolivet a 15 ans lorsqu'il monte des spectacles dans les usines en grève en mai 68, avec son frère Marc. Un temps animateurs au Club Med, les frangins forment un duo comique très populaire au milieu des années 70, à la radio et sur le petit écran (sous les sobriquets "Recho et Frigo") et même sur la scène de l'Olympia en 1978.

Le tandem se sépare au début des années 80, mais Pierre Jolivet se trouve un autre complice en la personne du tout jeune Luc Besson, qui réalise le clip d'une de ses chansons (Voici), et lui propose de co-écrire en 1981 L'Avant dernier, court métrage qui préfigure Le Dernier Combat, premier long de Besson, co-signé, co-produit et interprété par Jolivet. Les deux hommes retravailleront ensemble sur Subway en 1985, année de la sortie du coup d'essai de Jolivet comme réalisateur, Strictement personnel, thriller nommé au César de la Meilleure première œuvre. Passant ensuite de la comédie de mœurs (Le Complexe du Kangourou) au récit fantastique (l'audacieux Simple Mortel), Jolivet, metteur en scène inclassable, n'obtient les faveurs du public qu'avec Force majeure (1988), subtil exposé d'un cas de conscience qui tourmente François Cluzet et Patrick Bruel.

En 1997, Fred semble marquer un nouveau départ pour Pierre Jolivet. Salué par une critique unanime, ce polar, doublé d'un portrait chaleureux du monde ouvrier, offre un de ses plus beaux rôles à Vincent Lindon, qui deviendra un des acteurs fétiches du cinéaste, aux côtés de Berléand ou Roschdy Zem. Tous trois figurent au générique de Ma petite entreprise, une comédie en forme d'éloge de la solidarité et du système D, qui vaut à Jolivet son plus gros succès public en 1999 mais seul Roschdy Zem est, en 2008, à l'affiche d'une autre comédie au titre similaire : La Très très grande entreprise.

Après s'être essayé, avec moins de réussite, au remake d'un film de patrimoine (En plein coeur, variation autour d'En cas de Malheur), et à la fresque médiévale (l'ambitieux Frère du guerrier en 2001), le réalisateur revient à des projets plus modestes. Il choisit le ton de la comédie pour dépeindre l'amitié d'une juge d'instruction et d'une voleuse (Filles uniques), décrire le quotidien d'ados en galère (Zim and co., présenté à Cannes en 2005) ou raconter une histoire d'amour (Je crois que je l'aime, avec le couple Vincent Lindon-Sandrine Bonnaire en 2007). En 2012, Pierre Jolivet revient au genre qui l'avait lancé, le policier, avec Mains armées dans lequel il dirige pour la cinquième fois Roschdy Zem.

Le réalisateur poursuit dans le thriller avec Jamais de la vie, où Franck, gardien de nuit dans un centre commercial de banlieue, décide un jour de reprendre sa vie en main et d'intervenir dans une affaire qui attise sa curiosité. Il y dirige pour la première fois, entre autres, Olivier Gourmet, Valérie Bonneton et Bénabar.