Rebelle et fugueur, Jean-Pierre Kalfon abandonne les études et quitte le domicile familial à l'adolescence. Enchaînant les petits boulots -et les menus délits-, il s'inscrit à une école de décoration, chante aux terrasses des cafés, est brièvement boy aux Folies Bergère et étudie l'art dramatique au Cours Dullin. Fondateur en 1960 de la compagnie Théâtre 15, il joue aussi au sein du TNP de Vilar.
Apparu au cinéma en 1962 chez José Bénazéraf, Jean-Pierre Kalfon travaille sur les planches avec le metteur en scène d'avant-garde Marc'O, aux côtés de Bulle Ogier ou Pierre Clémenti. Tous trois sont en 1966 à l'affiche du spectacle-culte Les Idoles, satire du monde du showbiz adaptée à l'écran en 1968. C'est en assistant à une pièce de Marc'O que Rivette aura l'idée de réunir Kalfon et Ogier, couple à la ville, dans L'Amour fou (1969). L'acteur croisera d'autres maîtres de la Nouvelle Vague : Godard (Week-end), Truffaut (Vivement dimanche !) ou Chabrol (Le Cri du hibou, pour lequel il est nommé au César du Meilleur second rôle en 1988), tout en étant un des acteurs-fétiches de Lelouch (Une fille et des fusils, Le Bon et les méchants ou Les Uns et les autres).
Figure de l'underground parisien, rocker à la voix rauque (il jamme avec Bob Marley en 1973 !), Kalfon tourne dans des films-phares de l'après-68, comme La Vallée ou La Cicatrice intérieure. A la fin des années 70, lorsque les polars font florès, cette "gueule" du cinéma français est abonnée aux personnages louches -citons La Guerre des polices, Une étrange affaire ou Rue barbare en 1983. Electron libre au parcours très singulier - il a joué sous la direction de Romain Gary, Michel Cournot ou BHL...-, l'acteur est choisi en 2000 par Patricia Mazuy pour camper Louis XIV dans Saint-Cyr -avec à la clé une nouvelle nomination au César. Metteur en scène chic dans La Répétition (2001), l'icône sexagénaire se plaît toujours à jouer des individus troubles (La Question humaine ou le burlesque J'ai toujours rêvé d'être un gangster en 2007).