Formé à l'Oberlin College et aux cours d'art dramatique de l'université de Boston, John Cazale entame sa carrière sur les planches, remportant plusieurs Obie Awards.

Ami d'enfance d'Al Pacino, comme lui d'origine italienne, il fait ses débuts sur grand écran grâce à ce dernier qui l'accompagne à une audition pour Le Parrain, dans lequel il interprète le frêle Fredo Corleone, fragile et incapable frère aîné de Michael, rôle qu'il reprendra dans le second volet, où les relations des deux frères occupent une place primordiale.

Fidèle à Francis Ford Coppola, puisqu'il incarne Stan, l'assistant de Gene Hackman dans Conversation secrete, Palme d'or au festival de Cannes en 1974, il l'est également à Pacino avec qui il partage l'affiche d'Un apres-midi de chien, campant avec maestria Sal, un braqueur de banque minable et émouvant, et glanant au passage une nomination au Golden Globe du meilleur second rôle.

Lorsqu'il débute le tournage de Voyage au bout de l'enfer, il souffre déjà d'un cancer des os incurable. Le réalisateur Michael Cimino, qui ne l'ignore pas, décide alors de tourner en premier lieu les scènes où il figure. Mais lorsque les studios, qui n'en avaient pas été informés, apprennent son état de santé, ils exigent qu'on le remplace séance tenante. Meryl Streep, sa fiancée, qui joue également dans le film, menace alors de quitter le tournage. Cazale mourra peu après l'achèvement du film, à l'âge de 42 ans, laissant derrière lui l'image d'un acteur au jeu intense et délicat, auquel Coppola rendra hommage en le faisant apparaître dans Le Parrain, 3e partie, par le biais d'images d'archives.

Quelque brève qu'elle ait été, la trajectoire de cet acteur subtil abonné aux seconds rôles de faibles ou de loosers pathétiques fut exceptionnelle. Cinq films, pour autant de chef-d'oeuvres, tous nominés à L'Oscar du meilleur Film.