Fils d'un horloger-bijoutier d'origine lorraine, Harry Baur ambitionne de devenir marin. Après une enfance à Paris, il s'enfuit d'une institution religieuse et gagne Marseille. Au bout de quelques mois de fugue, il est rappelé à l'ordre par sa mère, qui l'envoie poursuivre sa scolarité à Saint-Nazaire. Il repart ensuite dans la cité phocéenne, où il s'inscrit à l'école d'hydrographie mais l'adolescent indiscipliné ne tarde pas à en être renvoyé.

Ses rêves de marin envolés, Harry Baur s'oriente vers le métier d'acteur, même s'il est également doué pour le chant. Elève au Conservatoire de Marseille, il en ressort, à 19 ans, avec un Premier Prix de comédie et un Deuxième Prix de tragédie. S'il a déjà joué quelques petits rôles, son parcours théâtral commence véritablement en 1907 lorsque Firmin Gémier l'engage au Théâtre Antoine. Avec sa présence massive et sa voix puissante, il devient une vedette des planches, créant des pièces de Guitry ou Tristan Bernard, mais ne s'intéresse que de loin au Septième art. A partir de "La Jeunesse de Vidocq" en 1909, il tourne pourtant dans une quarantaine de films muets.

Harry Baur s'impose sur grand écran avec le développement du cinéma parlant, au début des années 30, alors qu'il a déjà 50 ans. Julien Duvivier lui offre le rôle du banquier juif David Golder dans un mélodrame à succès de 1931, qui marque le début d'une fructueuse collaboration. Grâce au cinéaste, il incarnera notamment le père de Poil de Carotte (1932) et le Commissaire Maigret dans La Tête d'un homme (1933). Acteur charismatique ayant le goût du déguisement, il passe avec aisance d'un rôle de clochard ("Rotchild") à M. de Tréville dans Les Trois mousquetaires. C'est un autre héros de la littérature qui lui permet de livrer une de ses performances les plus applaudies en 1934 : dans Les Misérables de Raymond Bernard, fresque en trois parties, il campe un inoubliable Jean Valjean, généreux et pathétique.

De la trempe d'un Raimu (qu'il remplaça au théâtre dans Fanny de Pagnol), Harry Baur promène sa silhouette corpulente et son regard tantôt inquiet tantôt inquiétant dans des films imprégnés de culture russe : commissaire Porphyre face à l'étudiant Pierre Blanchar dans Crime et châtiment (1935), il incarne un marchand de blé dans Les nuits moscovites (et dans son remake anglophone !), mais aussi Raspoutine (La Tragédie impériale) et le Tsar Paul 1er (Le patriote). Héros de nombreux films historiques ou biographiques, il campe l'Empereur Rodolphe dans Le Golem de son vieux complice Duvivier, Ludwig van Beethoven devant la caméra d'Abel Gance (1936) ou encore "Tarass Bulba". Cet amoureux des bateaux impressionne en Mollenard, captaine corsaire enragé et blessé, dans un film de Robert Siodmak en 1938.

En 1941, Harry Baur figure dans L' Assassinat du Père Noël de Christian-Jaque, premier long métrage de la Continental, société financée par des capitaux allemands mais installée sur les Champs-Elysées. Il n'empêche que l'acteur -qui débuta dans "David Golder" ou "Le Juif polonais"- fait l'objet d'une campagne de presse antisémite, à laquelle il répond maladroitement en certifiant -documents à l'appui- qu'il est bien aryen. Vu en compagnie d'artistes du régime nazi venus à Paris, il signe même un contrat avec la Tobis, société de production allemande. En 1942, à la fin du tournage de Symphonie eines Lebens à Berlin, il rentre à Paris, où il se fait arrêter par la Gestapo, avec sa femme, le 30 mai. Après trois mois de mauvais traitements et de torture mentale, il sera libéré en septembre. Très affaibli, il meurt quelques mois plus tard. Dix ans après sa mort, à la Maison de la Chimie, un grand hommage lui sera rendu par la profession, de Sacha Guitry à Maurice Chevalier.