La vision des films de Francis Ford Coppola et notamment d' Apocalypse Now en 1979 alors qu'il n'a que dix ans marque profondément James Gray. Lui qui se destinait à la peinture se tourne vers le cinéma, qu'il étudie à l'University of South California. Après un film de fin d'études remarqué, la reconnaissance ne se fait pas attendre.

En 1994, alors qu'il n'a que 25 ans, son premier long métrage Little Odessa reçoit le Lion d'argent à Venise (ex-aequo avec Créatures célestes de Peter Jackson). Cette oeuvre âpre et virtuose s'attache au conflit psychologique d'un tueur solitaire (Tim Roth), en rupture avec sa famille et la communauté russe de New York. Refusant ensuite de mettre en scène plusieurs scripts (dont Ennemis rapprochés), il écrit une adaptation de Paycheck de Philip K. Dick, qu'aucun studio ne veut financer. Son deuxième long métrage, The Yards, écrit entre 1995 et 1997 et produit par Miramax, voit le jour en 2000. Sélectionné à Cannes, ce film noir aux allures de tragédie antique réunit grands anciens (James Caan, Faye Dunaway) et jeunes pousses prometteuses (Mark Wahlberg, Joaquin Phoenix, Charlize Theron).

S'il compte de fervents admirateurs (parmi lesquels Claude Chabrol), Gray devra attendre sept ans pour signer son troisième opus, La Nuit nous appartient, présenté sur la Croisette en 2007. Le New-yorkais creuse son sillon avec cette oeuvre sombre qui reprend ses thèmes fétiches (la famille, la Mafia) et les acteurs du film précédent (Wahlberg, Phoenix). James Gray surprend son monde en réalisant un nouveau film quelques mois plus tard seulement, Two Lovers, dans lequel - autre nouveauté - il n'est pas question de la pègre. Mais on y reconnaît sans peine la patte de son auteur, à travers la noirceur du propos, la beauté de la photographie ou encore la présence au casting de Joaquin Phoenix (dans le rôle d'un homme tourmenté partagé entre deux femmes, Gwyneth Paltrow et Vinessa Shaw). En lice pour la Palme d'or, Gray repart encore une fois bredouille.

Après avoir enchaîné deux films en deux ans, le réalisateur prend une nouvelle fois son temps avant de revenir dans les salles avec The Immigrant en 2013, son quatrième film consécutif à être présenté en compétition à Cannes ne remportant aucune distinction. Avec ce film, il revient de manière plus historique sur le sujet des immigrants d'Ellis Island après les avoir mis en scène de façon contemporaine dans ses films précédents. Marion Cotillard y tient le rôle principal aux côtés de Jeremy Renner et - pour la quatrième fois dans un film de Gray - Joaquin Phoenix. Le réalisateur a rencontré l'actrice lors d'un dîner avec le couple Cotillard-Canet après avoir signé le script de Blood Ties - qui sort la même année - réalisé par Guillaume Canet.

James Gray change ensuite de registre et livre en 2017 The Lost City of Z centré sur les aventures du célèbre explorateur britannique Percy Fawcett qui a mystérieusement disparu dans la jungle brésilienne en cherchant à trouver une cité perdue datant de l'Atlantide. Le film, porté par l'athlétique Charlie Hunnam, est un échec au box-office malgré des critiques presse élogieuses. Deux ans plus tard, le cinéaste s'attaque à la science-fiction avec Ad Astra et offre à Brad Pitt le premier rôle, celui d'un astronaute s’aventurant jusqu’aux confins du système solaire à la recherche de son père. 

Après ces incursions dans la jungle et l'espace, James Gray entreprend en 2022 un retour aux sources avec Armageddon Time. Ce récit autobiographique situé dans le Queens, où il a grandi, retrace à travers les yeux d'un petit garçon l'Amérique des années Reagan et s'intéresse au racisme systémique qui ronge le pays. Porté par Jeremy Strong, Anne Hathaway et Anthony Hopkins, ce drame intimiste repart bredouille du Festival de Cannes, où il est présenté en compétition officielle.