Issu d'une famille d'artistes (son père était un célèbre sculpteur et sa mère artiste peintre), il pense faire une carrière sportive puis s'oriente vers la comédie et entre au conservatoire national d'art dramatique en 1951. Il y côtoye notamment Jean-Pierre Marielle, Bruno Cremer, Jean Rochefort et Claude Rich et apparaît pour la première fois dans À pied, à cheval et en voiture (1957) de Maurice Delbez. S'ensuivront Sois belle et tais-toi (Marc Allegret) et Les Tricheurs (Marcel Carné) en 1958.
Son premier rôle important lui est confié par Claude Sautet dans Classe tous risques et la révélation naît surtout avec A bout de souffle de Jean-Luc Godard en 1959. Dès lors, il se révèle un acteur aux multiples facettes et tient des rôles variés, dirigé par les plus grands réalisateurs. En 1961 il est Léon Morin, prêtre pour Jean-Pierre Melville puis il joue dans Un singe en hiver de Henri Verneuil aux côtés de Jean Gabin.
Par ailleurs, il enchaîne les films à succès tels L' Homme de Rio de Philippe de Broca (1964), Les tribulations d'un Chinois en Chine (1965), La Sirène du Mississippi de François Truffaut (1969), Borsalino de Jacques Deray (1970) ou Le Magnifique (1973). Il incarne même des rôles inattendus comme dans Pierrot le Fou de Godard en 1965 ou à contre-emplois tel Stavisky pour Alain Resnais en 1974. Il exécute toutes les cascades de ses films, notamment dans Peur sur la ville d'Henri Verneuil et multiplie au tournant des années 80 les triomphes au box-office, avec Georges Lautner pour Flic ou voyou ou Le Professionnel ou encore avec Gerard Oury pour L' As des As en 1982.
Claude Lelouch lui offre des rôles emblématiques (Itinéraire d'un enfant gâté en 1988 ou Les Misérables en 1995) mais il n'abandonne pas l'action ou ses anciens partenaires : on le retrouve auprès d'Alain Delon en 1998 dans Une chance sur deux de Patrice Leconte même si le succès est moins au rendez-vous qu'au théâtre où l'acteur rencontre un véritable triomphe. Ce qui ne l'empêche pas de répondre à l'appel de Bertrand Blier et de participer aux Acteurs en 2000. Près d'une décennie plus tard, Jean-Paul Belmondo fait son grand retour au cinéma, aux côtés de Francis Huster qui réalise aussi le film, dans Un homme et son chien (2009), drame dans lequel il interprète un homme qui se retrouve à la rue du jour au lendemain seul avec son chien.