Burt Young suit les cours de Lee Strasberg dans la prestigieuse école d'art dramatique Actor's Studio. Après quelques petites apparitions dans des polars tels que Chinatown (1974) et Le Flambeur (1974), c'est le réalisateur Sam Peckinpah qui dévoile le talent de l'acteur dans le rôle d'un assassin dans Tueur d'élite (1975), film dans lequel il retrouve un de ses amis : l'acteur James Caan. Burt Young impressionne alors par son jeu solide au point que le réalisateur John G. Avildsen l'engage pour jouer le rôle de Paulie dans Rocky (1976).

C'est la consécration pour l'acteur qui se retrouve nommé pour l'Oscar du meilleur second rôle. Mais malgré ce succès, Burt Young reste dans son genre de prédilection : le film policier. Il ne se contente cependant que de seconds rôles : c'est ainsi qu'il fait diverses apparitions dans des thrillers tels que L' Ultimatum des trois mercenaires (1977), Bande de flics (1977). Il se retrouve ensuite sous la direction de Sam Peckinpah dans Le Convoi (1978) où il interprète un camionneur déluré.

Il retrouve ensuite Sylvester Stallone dans tous les épisodes de la saga Rocky (hors trilogie Creed), de Rocky II (1979) jusqu'à Rocky Balboa (2006), toujours porté en version française, par le timbre inimitable de Serge Sauvion, incontournable voix -entre autres- de Columbo. Notons au passage que si Rocky lui avait ouvert les portes des Oscars, Rocky IV et Rocky V lui valent deux nominations aux Razzie Awards en 1986 et 1991.

Après avoir tourné dans des films d'horreur tels que La Plage sanglante (1981) ou Amityville 2, Le Possédé (1982), il fait une apparition dans le film mythique Il était une fois en Amérique (1984). Après Le Pape de Greenwich Village (1984), la carrière de l'acteur qui opérait auparavant dans des rôles de policiers ou de gangsters, se diversifie. On retrouve ainsi Burt Young autant dans des comédies très légères telles que A fond la fac (1986) ou Le Mariage de Betsy (1990) que dans des drames comme Derniere Sortie pour Brooklyn (1989) et Bright angel (1991).

Après She's So Lovely (1997) de Nick Cassavetes, Burt Young oriente sa carrière vers des films beaucoup plus intimistes. Il incarne le rôle d'un proprio radin dans The Day the ponies come back (2000) de Jerry Schatzberg. Il tourne par la suite sous la direction de Wim Wenders dans le drame américain contemplatif Land of plenty (2004) avant d'incarner le père de Felicity Huffman dans Transamerica (2005). On l'a vu par la suite chez Abel Ferrara (Go Go Tales, 2007), Fatih Akin (un segment de New York, I Love You, 2009), Tom McCarthy (Les Winners, 2011) et dans deux épisodes de la saison 1 de la série Netflix Poupée Russe en 2019.