En plus de 30 ans de carrière, Rufus a joué quantité de seconds rôles dans des registres extrêmement variés. Comédien de scène autant que de cinéma, il a développé une sorte de personnage un peu austère, un peu lunaire et pince-sans-rire, sa longue silhouette, son visage anguleux, sa voix grave et posée s'adaptent à tout. Il débute à l'écran en 1967 avec Les encerclés de Christian Gion, avant d'apparaître dans Les Patates de Claude Autant-Lara. Il tourne par la suite deux films avec Yves Boisset : Cran d'arrêt et Un conde. En 1976, il partage l'affiche avec Isabelle Adjani et Roman Polanski dans Le Locataire.

S'il multiplie les téléfilms et les pièces de théâtre au cours des années 80, la décennie suivante est l'occasion pour lui de collaborer à trois reprises avec Jean-Pierre Jeunet. Les deux hommes tournent en effet ensemble Delicatessen (1991), La cité des enfants perdus (1995), et enfin Le Fabuleux destin d'Amélie Poulain (2001). Ce film lui permet d'obtenir à 59 ans une nomination au César dans la catégorie Meilleur acteur dans un second rôle.

En 2002, il joue dans le polar loufoque de Raoul Ruiz : Ce jour-là, puis enchaîne avec quelques petits films dont l'insolite Madame Edouard avec Michel Blanc et Didier Bourdon. Il retrouve son complice Jean-Pierre Jeunet pour une courte apparition dans la fresque romanesque Un long dimanche de fiançailles après quoi il tourne dans Le Grand rôle, film choral avec Stéphane Freiss. Toujours en 2004, année particulièrement riche pour l'acteur, il joue dans Iznogoud, une comédie à gros budget réalisée par Patrick Braoudé avant de retrouver les planches pour son spectacle : Rufus le fantaisiste.

Boulimique de travail, Rufus continue de multiplier les apparitions au cinéma, pour des réalisateurs de renom : Jean-Jacques Annaud dans Sa Majesté Minor (2006), Tony Gatlif dans Liberté (2008), Jean-Pierre Mocky dans Les Insomniaques (2011). L'acteur ne néglige cependant pas la comédie et se tourne vers la jeune génération (Pef dans King Guillaume (2008), Maurice Barthélémy dans Pas très normales activités (2013)). On le retrouve en 2013 dans Marius, une nouvelle adaptation de Marcel Pagnol signée Daniel Auteuil.