Avant de faire du cinéma, Raf Vallone avait été joueur de football professionnel à Turin, avocat, puis critique cinématographique et théâtrale. Son article sur les conditions de vie des femmes travaillant dans les rizières italiennes lui vaut d'être remarqué par le réalisateur Giuseppe de Santis, qui lui offre le rôle principal de Riz amer aux côtés de Silvana Mangano et Vittorio Gassman. Il retrouve ce dernier en 1951 sur le tournage d'Anna. En 1999, dans Toni, c'est d'ailleurs face au fils du célèbre acteur italien, Alessandro Gassman, qu'il jouera le dernier rôle important de sa carrière.

Ses débuts de carrière sont marqués par le néo-réalisme italien. Il tourne à nouveau sous la direction de Giuseppe de Santis dans Onze heures sonnaient (1952) puis La Garçonnière (1960). Il sera également dirigé par Dino Risi sur Le Signe de Vénus (1953), et Vittorio De Sica sur La Ciociara (1960) aux côtés de Jean-Paul Belmondo et Sophia Loren. Comédien éclectique, il s'essaye à des rôles très différents : il est un simple mineur dans Le Chemin de l'espérance (1950), puis incarne le héros de l'indépendance italienne Garibaldi dans Les Chemises rouges deux ans plus tard.

A partir de 1953, sa carrière prend une dimension internationale. Cette année-là, il séduit Simone Signoret dans Thérèse Raquin de Marcel Carné. Ses personne à l'écran doivent beaucoup à son physique ténébreux. Au début des années soixante, l'acteur se tourne vers Hollywood : il retrouve Sophia Loren sur Le Cid (1961) d'Anthony Mann, avant de tourner une adaptation de Phèdre mise en scène par Jules Dassin. En 1961, il est un docker dont la famille se déchire dans Vu du pont de Sidney Lumet.

Otto Preminger lui donne deux rôles secondaires à douze années d'intervalles dans Le Cardinal (1963) et Rosebud (1975). Entre temps, Raf Vallone s'essaie à des genres divers comme le western avec Nevada Smith (1966) ou le thriller avec La Lettre du Kremlin (1970) de John Huston.

A partir du début des années soixante-dix, l'acteur traverse un passage plus difficile. On le retrouve dans de nombreux films de série B. Pendant la décennie qui suit, il se consacre de plus en plus à la télévision tout en poursuivant sa carrière au théâtre qu'il n'a jamais quitté. En 1990, Francis Ford Coppola l'engage pour jouer le Cardinal Lamberto, assassiné alors qu'il vient d'être nommé pape à la fin du Parrain, 3e partie. Ce sera le dernier rôle d'envergure internationale de sa longue et prolifique carrière.