"Le film est l'histoire d'une personne qui cherche à revenir dans le droit chemin mais bien sûr, sa tragédie c'est qu'il ne peut y arriver parce qu'il est allé trop loin", précise James Gray à propos du personnage de Joshua Shapira campé par Tim Roth.
James Gray s'est beaucoup documenté afin de rendre le film le plus réaliste possible : "J'ai lu tous les articles se rapportant au sujet que je pouvais trouver dans n'importe lequel des principaux journaux. J'ai traîné du côté de Brighton Beach pendant des mois et rencontré tout un tas de personnes. J'ai parlé à la police de New York de ce sujet. Je n'ai jamais cherché à faire un film sur la mafia russe juive en tant que telle mais j'espère que la description de ce milieu est juste", affirme le metteur en scène.
James Gray a choisi son actrice principale Moira Kelly après l'avoir remarquée dans le long métrage de David Lynch, Twin Peaks - Fire Walk With Me, que le cinéaste cite comme l'un de ses films préférés.
Pour un premier film, Litlle Odessa multiplie les récompenses. Le long métrage de James Gray a notamment reçu le Lion d'argent et la coupe Volpi du meilleur second rôle féminin pour Vanessa Redgrave au Festival de Venise 1994 et le Prix de la Critique du Festival de Deauville.
Ayant remarqué son court métrage de fin d'études, le producteur Paul Webster a demandé à James Gray d'écrire un scénario pour lui, ce qui a donné Little Odessa. Par la suite, Paul Webster a également produit le second long métrage du cinéaste, The Yards.