Grâce à son père grand amateur de cinéma, Francesco Rosi s'éveille très jeune au septième art. Alors qu'il espérait assister aux cours du Centro sperimentale di cinematografia de Rome, il décide malgré tout de suivre les conseils de sa famille en entrant à la faculté de droit. La Deuxième Guerre mondiale interrompt ses études en 1943 et le jeune homme se retrouve envoyé en Toscane pour combattre. A la fin de la guerre, il reprend sa vie étudiante tout en débutant une carrière théâtrale, radiophonique et d'illustrateur de livres ("Alice aux Pays des Merveilles").
L'année 1948 marque sa rencontre avec Luchino Visconti et sa première expérience sur grand écran en tant qu'assistant réalisateur pour La Terre tremble. Cette collaboration se poursuit avec les films Bellissima (1951), sur lequel il est aussi scénariste, et Senso (1954). Il travaille également aux côtés d'autres grands noms du cinéma italien comme Luciano Emmer (Dimanche d'août, 1950), ou Michelangelo Antonioni (Les Vaincus, 1953). Il boucle aussi le tournage des Chemises rouges (1952) entamé par Goffredo Alessandrini avant de coréaliser Kean (1956) avec Vittorio Gassman prouvant ainsi qu'il est mûr pour voler de ses propres ailes.
Son véritable premier long-métrage est alors Le Défi, réalisé en 1958, où il aborde déjà les problèmes sociaux du sud de l'Italie. Présenté à la Mostra de Venise, il remporte le Prix du Jury. Ce n'est cependant qu'avec Salvatore Giuliano (1961) qu'il connaît un succès international et s'établit comme l'un des réalisateurs les plus doués de sa génération s'appuyant sur un style hérité des maîtres de l'école néo-réaliste.
Bien qu'il refuse une approche journalistique, il traite de sujets de société ancrés dans la réalité, limitant la part de fiction. Cinéaste engagé et rigoureux, Il dénonce ainsi les soi-disant bienfaits du miracle économique italien dans Main basse sur la ville (1963) qui remporte le Lion d'Or à Venise. Deux ans plus tard, il fait ses débuts sur la croisette en présentant Le Moment de la vérité, mais ce n'est qu'en 1972 qu'il repart avec le Grand Prix du Festival de Cannes pour L'Affaire Mattei dans lequel il s'en prend aux dérives de l'industrie pétrolière. C'est en tandem avec l'écrivain Tonino Guerra qu' il réalise pourtant ses films les plus marquants (Les Hommes contre, 1970 ou Cadavres exquis, 1975). Refusant le manichéisme, il s'impose alors comme un cinéaste politique attaché à retracer l'histoire de l'Italie évoquant volontiers les multiples travers de la société comme la mafia, très présente dans sa région natale.
En 1984, il se permet une parenthèse dans sa filmographie plutôt austère avec l'adaptation de l'opéra de Bizet, Carmen. Puis il s'éloigne peu à peu de l'Italie avec Chronique d'une mort annoncée, adaptation du roman de Gabriel Garcia Marquez, pour lequel il dirige Ornella Muti, Rupert Everett et sa propre fille Carolina Rosi. Se faisant de plus en plus rare sur la scène cinématographique, il révèle aux spectateurs sa dernière oeuvre en 1997 avec La Trêve, où il retrace le périple de Primo Levi qui, prisonnier à Auschwitz, rejoint Odessa après la victoire des Alliés.