Jeffrey Jones monte sur scène dès l'université et rejoint le prestigieux "Guthrie Theatre" de Minneapolis avant d'être accepté à la "London's Academy of Music and Dramatic Arts". Il obtient son premier rôle au cinéma en 1970 dans The Revolutionary, puis à la télévision en 1976 dans la mini-série The Adams Chronicles. Il apparaît par la suite dans de nombreuses séries dont Kojak (1977), Les Enquêtes de Remington Steele (1983), Les Contes de la crypte (1993) et Au-delà du réel, l'aventure continue (1998). En 2002, il prête sa voix à un personnage de La ligue des Justiciers avant de tenir un rôle dans la série western Deadwood en 2004.

Le grand écran réussit à Jeffrey Jones, puisqu'il incarne l'empereur Joseph II dans Amadeus en 1984, puis tient l'un des premiers rôles de Howard (1986) qui suit un canard humanoïde envoyé sur Terre pour stopper une invasion extraterrestre. Il côtoie ensuite de grands noms d'Hollywood, comme Michael Keaton dans Beetlejuice (1988), Sean Connery dans A la poursuite d'Octobre rouge (1990) ou encore Johnny Depp dans Ed Wood (1994) et Sleepy Hollow, la légende du cavalier sans tête (1999). En 2001, il écoute Eddie Murphy parler aux animaux dans Dr. Dolittle 2.