Journaliste médical de formation, John Mahoney débute au cinéma dans More deadly than the male en 1960. Il alterne ensuite télévision et cinéma, apparaissant notamment dans Code of silence (Andrew Davis, 1985) et Streets of gold (Joe Roth, 1986). A l'orée des années 1990, alors qu'il atteint l'âge de 50 ans, cet Anglais qui mène une carrière américaine devient un second rôle incontournable. Avec une prédilection pour les rôles d'officier de police ou d'homme de loi, il incarne un juge pour Peter Yates (Suspect), un espion chez Fred Schepisi (La Maison Russie), patron des services secrets avec Wolfgang Petersen (Dans la ligne de mire) ou encore procureur pour Gregory Hoblit (Peur primale).
John Mahoney partage également l'affiche avec Bruce Willis (Piège en eaux troubles) et joue par deux fois sous la direction de Joel Coen (Barton Fink, Le Grand Saut).
Acteur populaire aux Etats-Unis, John Mahonney prête volontiers sa voix aux héros de quelques films d'animation tels que Le Géant de fer (1999) ou d'Atlantide, l'empire perdu (2001).