Père du réalisateur James Whitmore Jr.
Après des études d'art dramatique au lycée, James Whitmore intègre les Marines durant la Seconde Guerre mondiale. De retour du conflit, il se lance dans le septième art et obtient en une nomination à l'Oscar du meilleur second rôle et le Golden Globe de la même catégorie pour le film Bastogne de William A. Wellman, sa première véritable expérience sur grand écran. Un an plus tard, il est l'une des vedettes de Quand la ville dort, film noir réalisé par John Huston. Il ne va pas tarder à s'imposer comme l'un des plus grands seconds rôles du cinéma américain.
L'année 1951 voit James Whitmore retrouver les deux réalisateurs qui lui ont donné sa chance : William A. Wellman pour Au-delà du Missouri, où il côtoie Clark Gable, et John Huston pour La Charge victorieuse. Un an plus tard, il s'illustre dans le film d'aventures La Perle noire de Richard Thorpe, puis entame une série de longs métrages qui lui apportent une notoriété indéniable dans le milieu.
Entre 1954 et 1956, James Whitmore apparaît dans deux films de Gordon Douglas : Des monstres attaquent la ville dans lequel, fait unique, il tient le premier rôle, et Le Tigre du ciel. Il se distingue également à l'affiche du Cri de la victoire de Raoul Walsh ainsi que dans La Poursuite dura sept jours, La Charge des tuniques bleues et Oklahoma. Dès lors, sa carrière est définitivement lancée, mais il lui faut attendre 1968 et son rôle de Président de l'assemblée dans La Planète des singes de Franklin J. Schaffner pour retrouver un second souffle.
La fin des années 60 marque un nouveau pic dans la carrière de James Whitmore. Après La Planète des singes, il enchaîne coup sur coup deux films noirs, retrouvant Don Siegel avec Police sur la ville et côtoyant Gene Hackman dans Le Crime c'est notre business. Et après le western Les Colts des sept mercenaires, il retrouve un genre qu'il affectionne, le film de guerre, en tenant un des principaux rôles du célèbre Tora! Tora! Tora!.
James Whitmore poursuit un foisonnant itinéraire qui l'aura vu travailler avec les plus grands cinéastes et acteurs de plusieurs générations. En 1977, il joue sous la direction d'Ingmar Bergman dans L'Oeuf du serpent puis partage l'affiche de De plein fouet avec Frank Sinatra. Il apparait ensuite dans le thriller horrifique Relic, mais se distingue surtout en entamant une collaboration avec le réalisateur Frank Darabont, avec lequel il tourne Les Evadés en 1994 et The Majestic en 2001.