Raymond Pellegrin suit des cours d'art dramatique avant de débuter au théâtre dans Le Président Haudecoeur. Sur scène, il joue sous la direction de Marcel Pagnol dans Topaze. Aux lendemains de la Libération, Jacques de Baroncelli lui offre son premier rôle au cinéma dans Marie la misere (1945). Pellegrin travaillera notamment sous la direction d'Henri Verneuil (Le Fruit défendu, 1952) et André Cayatte (Nous sommes tous des assassins) avant de retrouver Pagnol à l'occasion de Manon des Sources (1953). Pour Sacha Guitry, il rentre dans la peau de l'Empereur Napoléon (1955). L'acteur tente également sa chance aux Etats-Unis, chez Nicholas Ray (Amere Victoire, 1957) et Sidney Lumet (Vu du pont, 1962).
Raymond Pellegrin restera comme celui qui a prêté sa voix au personnage de Fantômas dans les trois films réalisés par André Hunebelle (Fantomas en 1964, Fantômas se déchaîne en 1965 et Fantômas contre Scotland Yard en 1967). Aperçu dans Le Deuxième souffle de Jean-Pierre Melville (1966), l'acteur entame une traversée du désert de quatre ans qui le mène jusqu'en Italie ou il tourne quelques films, notamment avec Lucio Fulci (Liens d'amour et de sang, 1969) sans toutefois retrouver le succès.
De retour en France, Raymond Pellegrin tourne Le Saut de l'ange avec Yves Boisset (1971) et côtoie Claudia Cardinale dans Lucia et les Gouapes (1976). Au début des années 1980, Claude Lelouch fait appel à lui pour Les Uns et les autres (1980) et Viva la vie (1983).