Né d'une famille pauvre et analphabète, Francisco Rabal est d'abord vendeur de friandises puis électricien de plateau. Quand il décide de se lancer dans une carrière d'acteur, il participe d'abord à des films historiques, puis se tourne vers un cinéma d'avant-garde, travaillant avec Juan Antonio Bardem (Sonatas en 1959), Carlos Saura (Les Bandits en 1963) mais surtout Luis Buñuel. Sous sa direction, il tourne dans trois films : Belle de jour aux côtés de Catherine Deneuve, Nazarin et Viridiana.
Il travaille également avec Michelangelo Antonioni (L' Eclipse), Jacques Rivette (La Religieuse), Claude Chabrol (Marie-Chantal contre le docteur Kha), Pedro Almodovar (Attache-moi !) et José Juan Bigas Luna (Renacer).
L'acteur avait reçu le Prix de la Meilleure Interprétation Masculine au Festival de Cannes en 1984, ex-aequo avec Alfredo Landa, pour Les Saints Innocents de Mario Camus. En 1999, il incarnait le rôle du peintre Francisco Goya devant la caméra de Carlos Saura, prestation récompensée d'un Goya en Espagne.