Philip Baker Hall grandit dans l'Ohio. A l'université, il ne parvient pas à s'intéresser suffisamment à ses études. Il décide donc de s'engager dans l'armée, avant de comprendre que le théâtre l'attire. Il part alors tenter sa chance à New York, puis en Californie, où il intègre le Los Angeles Theatre. Il compose sur scène un one man show sur Richard Nixon, dans Secret Honnor. Un rôle déterminant pour sa carrière. En effet, Robert Altman qui a assisté à l'une des représentations, souhaite adapter la pièce pour le grand écran.

Peu importe que le film au titre éponyme n'ait pas eu un grand succès, la carrière de Philip Baker Hall est lancée ! En 1991, son visage commence à être connu du grand public grâce à son rôle dans la série américaine Seinfeld. Mais c'est grâce à Paul Thomas Anderson, que sa carrière cinématographique prend forme. Après s'être lié d'amitié avec ce jeune cinéaste, Philip Baker Hall se voit confier le rôle principal de son premier long métrage, Hard Eight en 1996. Un an plus tard, les deux hommes se retrouvent pour Boogie nights. Le succès du film révèle au grand public les talents de l'acteur et du réalisateur, qui se confirment avec Magnolia en 1999. Entre-temps, on peut aussi apercevoir Philip Baker Hall en shérif dans l'angoissant Psycho de Gus Van Sant, en officier de police dans l'hilarant Rush Hour de Brett Ratner ou en journaliste dans l'émouvant Truman Show de Peter Weir.

Par la suite, on le retrouve dans certaines grosses productions calibrées comme La Somme de toutes les peurs en 2000, des comédies grand public comme Bruce tout-puissant en 2003, ou des films plus "auteuristes" comme Dogville de Lars von Trier en 2002. L'acteur ne délaisse pas pour autant le petit écran, apparaissant de temps à autre dans quelques séries télévisées. L'année 2005 démontre l'éclectisme de Baker Hall, qui aime faire dans la diversité : on le retrouve ainsi dans une comédie (En bonne compagnie avec Scarlett Johansson), dans un polar (The Matador avec Pierce Brosnan) et dans un film d'horreur (Amityville, remake d'un classique de l'horreur).

Deux ans après, il tient un petit rôle dans Zodiac, le thriller orchestré par David Fincher, puis change radicalement de registre avec M. Popper et ses pingouins, comédie familiale dans laquelle il donne la réplique à Jim Carrey. Son âge vénérable fait qu'on lui confie à partir des années 2000 plutôt des rôles de grand-père (Playing It Cool) mais il joue aussi un fabricant de montres (Manhattan Stories) ou un avocat (People Like Us). En 2020, il incarne le père d'Eva (Michelle Monaghan) dans la série Netflix controversée Messiah, qui restera son dernier rôle.