Enfant de la classe moyenne américaine des années 30, sa vocation de comédien se développe sous l'influence de John Garfield, acteur politiquement controversé et persécuté durant la ‘chasse aux sorcières' de McCarthy, qui devient son premier héros.
Il entre dans l'Actors Studio en 1966, mais ne débute sa carrière au cinéma qu'avec Les Frères siciliens, de Martin Ritt en 1968. Puis il tourne sous la direction très formatrice de Roger Corman dans The Red Baron (1971), avant de faire la connaissance de Martin Scorsese sur le tournage d'un des premiers long-métrages du jeune réalisateur : Bertha Boxcar. Film dans lequel il s'associe à un thème qui lui est cher en interprétant ‘Rake Brown', un membre d'une bande de voleurs de trains recherchée durant le McCarthysme des années 40.
Il retrouve Scorsese dans New York, New York, et se lie d'amitié avec Robert De Niro en 1977. Suivront bien d'autres collaborations avec la star de Taxi Driver, dont La Liste noire en 1991, ou La Loi de la nuit en 1992, deux films d'Irwin Winkler.
Autre collaboration marquante, celle avec Mark Rydell: il joue dans The Rose en 1979, film basé sur la vie de la rockeuse Janis Joplin, et qui marque sa première rencontre avec Bette Midler. Il est également l'assistant du chef de casting sur La Rivière en 1984.
Policier dans Le Criminel d'Adolfo Aristarain en 1987, chauffeur de Taxi dans 15 Minutes avec son ami De Niro en 2001, la carrière de Barry Primus croise également celle du réalisateur Sydney Pollack dans Absence de Malice en 1981.
Il devient lui même réalisateur d'Hollywood Mistress en 1992, un premier film produit et interprété par De Niro et un autre de ses amis, Martin Landau.