Issu d'une grande famille de théâtre -il est le petit-fils du dramaturge Frederick Lonsdale, et le fils de Robin Fox, fameux agents d'acteurs-, celui qui s'appelle alors William Fox fait ses débuts de comédien à 10 ans dans The Miniver story (1950), la suite du film à succès Madame Miniver. Un an plus tard, il est le héros de la comédie The Magnet, avant d'interrompre sa carrière pour se consacrer à ses études -notamment à l'Université de Harrow et à la Central School for Speech and Drama.

Retrouvant le chemin des plateaux au début des années 60, l'acteur, qui s'est rebaptisé James Fox, incarne en 1962 un des compétiteurs de La Solitude du coureur de fond en 1962. Il trouve dans The Servant (1963) de Losey un de ses rôles les plus marquants, celui de Tony, aristocrate qui entretient une relation trouble avec son valet (Dirk Bogarde), prestation qui lui vaut le Bafta du Meilleur jeune espoir. Officier de la RAF dans Un Caïd, il est aussi l'un de ces merveilleux fous volants dans leur drôles de machines (1965). Partenaire de Julie Andrews (le musical Millie) et Vanessa Redgrave (Isadora), ce séducteur blond à la silhouette longiligne est dirigé par Arthur Penn (La Poursuite impitoyable) ou Robert Parrish (Duffy, le renard de Tanger).

Gangster initié aux joies de la débauche par Mick Jagger dans le film-culte Performance en 1968, James Fox, marqué par la mort de son père et épuisé par les excès en tous genres, décide ensuite de mettre un terme à sa carrière et se plonge dans l'étude du christianisme. A l'exception du très religieux No longer alone, il ne tourne plus jusqu'à Runners en 1983. De nouveau prêt à enchaîner les films (Greystoke, Absolute Beginners), il est nommé à l'Oscar du Second rôle grâce à son personnage d'enseignant aux idées larges dans La Route des Indes de David Lean (1984). S'il se délecte à jouer les hommes distingués (chef de l'Intelligence Service dans La Maison Russie, 1990, cousin de la Reine dans Jeux de guerre, Lord au passé douteux dans Les Vestiges du jour en 1993), cela n'exclut pas l'excentricité : Tim Burton le choisit pour incarner le père milliardaire de Véruca Salt (Charlie et la chocolaterie, 2004) tandis que Harmony Korine l'imagine en sosie du Pape (Mister Lonely, 2008).