John Hillerman débute sa carrière de comédien au début des années 70. Il s'illustre notamment dans La Dernière séance de Peter Bogdanovich, L'Homme des hautes plaines de Clint Eastwood, Chinatown de Roman Polanski ou encore Le Shérif est en prison de Mel Brooks.
En 1979, la carrière de John Hillerman décolle lorsqu'il obtient le rôle de Jonathan Higgins, le majordome pince-sans-rire de la série Magnum. Un personnage renfrogné, têtu et particulièrement drôle (souvenez-vous de ses réguliers "Oh My God") qu'il jouera durant huit saisons sur CBS aux côtés de Tom Selleck et qui lui vaudra un Emmy Award, un Golden Globe et une jolie popularité auprès du public.
Après Magnum, Paul Hillerman se fait discret, apparaissant notamment au générique de la mini-série Le Tour du Monde en 80 jours et se distinguant brièvement dans Arabesque. La dernière apparition de l'acteur à l'écran remonte à 1996 avec un petit rôle dans le long métrage Les Nouvelles aventures de la famille Brady.