Alors qu'il est étudiant, Gérard Klein entre à Inter Service Route avant de passer à l'antenne en 1967 sur France Inter. Il continue son parcours d'animateur radiophonique sur RTL de 1968 à 1972, puis se retrouvera sur les ondes de RMC ou d'Europe 1.

Sa carrière au cinéma ne décolle qu'en 1981 avec La Passante du Sans-Souci de Jacques Rouffio, adaptant le roman éponyme de Joseph Kessel. L'année suivante, il tient son premier rôle principal dans Le Bâtard de Bertrand van Effenterre, dont il signe la bande originale. En 1983, il est à l’affiches des Cavaliers de l'orage avec Marlène Jobert et fait se succéder les longs-métrages dans la première moitié des années 1980 avec Blanche et Marie de Jacques Renard (1984), Train d'enfer de Roger Hanin, Parking de Jacques Demy et Diesel de Robert Kramer en 1985.

En 1986, il se lance dans le registre de la comédie avec Mon beau-frère a tué ma soeur de Jacques Rouffio dans lequel il interprète un journaliste radio. Il commence à la même période à la télévision dans des téléfilms et les séries télévisées Marie Pervenche et Le Vent des moissons. En 1988, il suit les tribulations du chevalier Sans peur et sans reproche sous la direction de Gérard Jugnot. La même année, on le retrouve aux côtés d'Harrison Ford dans le Frantic de Roman Polanski.

C'est en 1993 que sa carrière effectue un tournant spectaculaire. Pourquoi Maman est dans mon lit ? est sa dernière apparition au cinéma avant une très longue absence. Il y joue le rôle professeur faisant face à des problèmes familiaux dans ce film de Patrick Malakian. C'est sans nul doute son personnage de Victor Novak - un rôle proposé par Pierre Grimblat -, dans la série télévisée L'Instit qui impose définitivement Gérard Klein comme un grand acteur populaire. La série s'arrêtant en 2004, il aura tenu ce rôle pendant près de 11 ans.

Absent du grand écran depuis 1994, il renoue avec le cinéma grâce à 600 kilos d'or pur (2010), un film d'aventures dans lequel il joue un second rôle.