Issu d'une famille d'aristocrates de Prague, Herbert Lom fait ses débuts au cinéma dans un film tchèque Zena pod krízem en 1937. L'arrivée du nazisme le pousse à émigrer en Grande-Bretagne en 1939. Il trouve une place à la BBC dans des émissions de propagande, étudie l'art dramatique, fait du théâtre puis en vient tout naturellement au cinéma. Il sera pendant un long moment cantonné aux seconds rôles et aux personnages de méchants notamment dans State Secret aux côtés de Douglas Fairbanks Jr. ou encore dans Les Forbans de la nuit de Jules Dassin en 1950 où il réussit à insuffler de l'humanité au personnage brutal de Kristo. Il donne la réplique aux grands noms du cinéma américain et britannique : Alec Guinness et Peter Sellers dans Tueurs de dames où il incarne un gangster à la mine patibulaire ; Robert Mitchum, Jack Lemmon et Rita Hayworth dans L'Enfer des tropiques en 1957.
Les années 1940 lui offrent son lot de rôles marquants sans lui permettre pour autant d'accéder à une réelle notoriété. Il interprète un hypnotiseur amoureux fou dans The Dark Tower en 1943, un psychiatre dans Le Septième voile en 1945, et des jumeaux trapezistes dans Dual Alibi en 1946. Herbert Lom est également connu pour avoir incarné Napoléon Bonaparte à deux reprises, notamment dans The Young Mr Pitt en 1942 puis en 1956 dans Guerre et paix de King Vidor.
Les années 1960 marquent un véritable tournant dans sa carrière : Il collabore à deux reprises avec Anthony Mann en 1960 pour Spartacus, qui sera finalement réalisé par Stanley Kubrick, dans lequel il joue un chef pirate chargé de mener l'armée de Spartacus hors d'Italie, puis pour Le Cid en 1961, où il est impressionnant dans le rôle d'un prophète de l'Islam. En 1962 Terence Fisher, avec qui il avait déjà travaillé en 1948 pour Portrait from Life, lui offre le premier rôle du Fantôme de l'Opéra. Deux ans plus tard, il incarne le personnage pour lequel il est principalement connu, à savoir le supérieur de Clouseau, Charles Dreyfus, à bout de nerf à force de supporter les élucubrations de l'inspecteur dans Quand l'inspecteur s'emmêle où il retrouve Peter Sellers. En 1966 il se glisse dans la peau d'un collectionneur millionnaire victime d'un cambriolage, face à Shirley MacLaine et Michael Caine dans Un Hold-Up extraordinaire.
Il s'essaie aux films d'horreur dans les années 1970 avec Les Nuits de Dracula dans lequel il incarne le professeur Abraham Van Helsing face à Christopher Lee, et L'Asile en 72. Sa carrière se poursuit dans les années 1980 avec un rôle important dans Dead Zone de David Cronenberg, celui du médecin de Christopher Walken et dans le whodunit Ten Little Indians de Alan Birkinshaw en 1989, qu'il retrouvera l'année suivante pour Masque of the Red Death.
Il renoue pour la dernière fois avec son personnage phare en 1993 dans Le Fils de la panthère rose.