L'Anglais John Neville débute sa carrière sur les planches londoniennes dans différents rôles shakespeariens. Il fait ses premiers pas au cinéma en 1960 dans Oscar Wilde, un drame sur la vie de l'auteur irlandais. Il participe à deux films réalisés par des acteurs-réalisateurs, Mr. Topaze, deuxième long-métrage de Peter Sellers et Billy Budd, de Peter Ustinov, en 1962. Il incarne Sherlock Holmes contre Jack l'Eventreur de James Hill en 1965, puis participe à une autre adaptation de l'oeuvre d'Arthur Conan Doyle signée Jerzy Skolimowski en 1970, et intitulée Les Aventures du brigadier Gérard. Il décide ensuite de se faire plus discret au cinéma, préférant se concentrer sur ses activités théâtrales.
Le succès frappe à sa porte alors qu'il a plus de 60 ans, sous la forme de Terry Gilliam, qui lui propose d'incarner le premier rôle des Aventures du baron de Münchausen : un héros charismatique, aventurier, se lançant dans de fantastiques épopées pour sauver une ville de l'envahissement des Turcs. Ce sera le dernier personnage principal que John Neville incarnera, préférant rester confiné dans des seconds rôles de qualité.
Son personnage mystérieux et ses apparitions récurantes dans la série X-Files, puis dans The X Files, le film, dans lesquels il est seulement connu par son pseudonyme d' " Homme bien manucuré ", finit d'asseoir sa notoriété. Il acquiert une crédibilité qui lui permet de figurer au casting de films populaires, comme Le Cinquième élément de Luc Besson en 1996 ou Urban legend en 1998.
L'acteur s'essaye à tous les styles, passant sans difficulté de la pure comédie familliale (Bébé part en vadrouille), au film d'époque (Les Quatre Filles du docteur March, Renaissance), au thriller (Harvard story, Esprits rebelles) ou encore au drame (Goodbye Lover). De grands réalisateurs lui offrent des rôles : Alan Parker fait appel à lui pour la comédie déjantée Aux bons soins du Dr Kellogg, Norman Jewison le fait figurer au casting de Crime contre l'Humanité, avec Michael Caine. Il joue également aux côtés de Ralph Fiennes pour deux drames intimistes, Sunshine, de Istvan Szabo en 1999 et Spider, de David Cronenberg en 2001. En 2006, il partage l'affiche du drame Separate lies avec Emily Watson, Rupert Everett et Tom Wilkinson.