Né Jean Le Gall, Roger Pierre vit le jour le 30 août 1923 à Paris. Les cours suivis dans une école de commerce ne le destinaient pourtant pas à la longue carrière artistique qui l'attendait. En 1946, il débute dans des cabarets comme le "Caveau de la République" ainsi qu'au cinéma, avec une première apparition dans Le Père tranquille de René Clément. Mais Roger Pierre est surtout connu pour son duo avec Jean-Marc Thibault. En plus d'avoir partagé les planches et les émissions radiophoniques, les deux hommes ont collaboré à de nombreuses reprises sur grand écran. Tantôt acteurs, scénaristes et dialoguistes, ils finissent par réaliser ensemble La Vie est belle en 1956.
Les années 1950 et 1960 marquent de nombreux films à son actif, dont plusieurs en commun avec les metteurs en scène Jean Boyer, André Berthomieu, Jean Bastia et Francis Rigaud. Sa présence au sein du casting du Tartarin de Tarascon de Francis Blanche (1962) ou son rôle à contre-emploi dans Mon Oncle d'Amérique d'Alain Resnais (1980) font partie des évènements les plus marquant de sa carrière cinématographique, bien qu'il continuait en parallèle à jouer dans plusieurs pièces au théâtre. Il délaisse un temps le cinéma pour la télévision vers la fin des années 1980, avec des seconds rôles dans des téléfilms ou dans la série Orages d'été.
Huit ans après Bingo (1997), Roger Pierre réapparaît au cinéma aux côtés de Gad Elmaleh et Gérard Depardieu dans la comédie de Florence Quentin, Olé ! (2005), et retrouve la direction d'Alain Resnais dans Les Herbes folles, sortit en 2009.