Bien que crédité en tant que scénariste du film, Michel Audiard n'a travaillé que quelques jours sur Les Misérables. Il ne s'est pas entendu avec le réalisateur Jean-Paul Le Chanois et a préféré quitter le projet. Il a alors été remplacé par René Barjavel.
Pour les besoins du film, la rue Saint-Denis fut reconstituée à Postdam en Allemagne. Dix mille figurants de soldats de l'armée de la R.D.A y ont participé.
" Les Misérables pour moi, c'est l'aventure d'un pauvre gars qui, après avoir fait un mauvais coup et s'être évadé du bagne, se réfugie chez un évêque qui lui fait cadeau de deux chandeliers. A cause de ce don, Jean Valjean se croira obligé de devenir bon, bon que c'en est malheur."
Bourvil et Michel Audiard ont collaboré sur une autre adaptation d'un grand classique de la littérature, Les Trois Mousquetaires d'après Alexandre Dumas Père.
Jean-Paul Le Chanois a dirigé plusieurs fois Bernard Blier avant Les Misérables sur L' Ecole buissonnière, Sans laisser d'adresse et L'Agence matrimoniale.
Les Misérables de Jean-Paul Le Chanois est une nouvelle adaptation du roman de Victor Hugo. Le film a été adapté de très nombreuses fois à l'écran par des réalisateurs comme Lewis Milestone, Bille August, Claude Lelouch et Robert Hossein.
Pathé eut l'idée de monter une nouvelle adaptation des Misérables de Victor Hugo car une précédente adaptation produite par la société et réalisée par Raymond Bernard en 1933 avec Harry Baur et Charles Vanel avait connu un important succès. Pathé eut tout de suite l'idée de confier le rôle de Jean Valjean à Jean Gabin, une des plus grandes stars de l'époque.
C'est Jean Gabin qui aurait recommandé Bourvil pour le rôle de Thénardier. Les deux hommes avaient joué ensemble sur La Traversée de Paris. C'est aussi lui qui aurait suggéré le nom de Jean-Paul Le Chanois pour la réalisation. Le cinéaste et l'interprète travaillaient sur Le Cas du docteur Laurent pendant que le projet des Misérables se montait.