Charles Gérard apparaît dans le paysage du cinéma français au milieu des années quarante avec Destins, à l'âge de 24 ans. C'est en 1958 qu'il se révèle avec Une Balle dans le canon, film qu'il coréalise avec Michel Deville. Il met alors sa carrière d'acteur de côté dans les années soixante et passe derrière la caméra pour de nombreux films tels que L' Ennemi dans l'ombre avec Roger Hanin et Bernard Blier, La Loi des hommes avec Micheline Presle ou encore L' Homme qui trahit la mafia avec Robert Hossein.
En 1970, sa rencontre avec le réalisateur Claude Lelouch (Le Voyou) sera déterminante pour sa carrière de comédien. En effet, il lui restera fidèle en jouant dans quasiment tous ses films au début des années 70 (L' Aventure c'est l'aventure ou La Bonne année où il donne la réplique à Lino Ventura), mais surtout à partir de 1982 : Edith et Marcel, Attention bandits aux côtés de Jean Yanne.
Ami fidèle de Jean-Paul Belmondo, il apparaîtra dans six des films du comédien : L'incorrigible (1975), Le corps de mon ennemi (1976), L'Animal (1977), Flic ou voyou (1979), Le guignolo (1980) et Un homme et son chien (2009).
Son physique singulier lui permet de travailler pour de nombreux réalisateurs français tels que Elie Chouraqui (Qu'est-ce qui fait courir David ?), Henri Verneuil (Le Corps de mon ennemi), Claude Zidi (L' Animal) ou Francis Veber (Le Jouet). Il tourne peu dans les années 2000, et en 2015, il tourne La Dernière leçon de Pascale Pouzadoux, dans lequel il donne la réplique à Marthe Villalonga et Sandrine Bonnaire.