Professeur de musique contemporaine originaire de la RDA, Armin Mueller Stahl souhaitait devenir chef d'orchestre, mais décida finalement de s'orienter vers une carrière d'acteur. En 1952, il est engagé au Theater am Schiffbauerdamm à Berlin, où il interprète les classiques du répertoire. Il commence à travailler à la télévision en 1955, avant de franchir le pas vers le grand écran avec Heimliche Ehen en 1956.

Devenu acteur réputé à la télévision et au théâtre, les nuages s'ammoncellent pourtant en 1976. Il apporte en effet son soutien à un manifeste critique du régime d'Erick Honecker, le chancelier Est-Allemand, qui condamne la révocation de la citoyenneté de l'auteur-compositeur Wolfgang Biermann. Se retrouvant interdit de travail, il migre en RFA en 1979.

Armin Mueller Stahl reprend alors les chemins des plateaux, en tournant Lola, une femme allemande sous la direction de Rainer Werner Fassbinder, qu'il retrouve pour Le Secret de Veronika Voss en 1982. L'année suivante, c'est le cinéaste renommé Andrzej Wajda qui l'engage pour les besoins d'Un amour en Allemagne. Sa prestation du Prince héritier François Ferdinand, bien que courte, dans le film historique Colonel Redl du cinéaste hongrois Istvan Szabo, est saluée par la critique.

En 1989, sa carrière s'internationalise grâce à Music Box de Costa-Gavras, dans lequel il interprète le rôle d'un américain d'origine hongroise, accusé de crimes de guerres et défendu par sa fille avocate. C'est alors le début d'une riche carrière internationale, surtout américaine, marquée par des rôles très eclectiques : patriarche juif dans Avalon de Barry Levinson (1990), chauffeur de taxi dans Night on Earth (1990) de Jim Jarmusch...

En 1996, il donne la réplique à Geoffrey Rush dans Shine sous les traits du père du génial pianiste : sa performance lui vaut une nouvelle fois la reconnaissance de la critique et une citation à l'Oscar du Meilleur second rôle masculin, la première de sa carrière. La même année, il écrit, réalise et interprète Conversation avec la bête, une étude plongeant dans les noirs desseins d'Adolf Hitler auquel il prête ses traits.

S l'acteur accepte encore des rôles à l'orée des années 2000 (The Game en 1997; The X Files, le film en 1998), il se fait néanmoins plus rare, consacrant la plupart de son temps au petit écran en faisant des apparitions le temps de quelques épisodes (A la Maison blanche notamment). En 2006, il retrouve sa compatriote Margarethe Von Trotta pour les besoins de Je suis l'autre.