Contrairement aux Misérables qui se déroulait à Montfermeil, Ladj Ly a situé Bâtiment 5 dans une ville imaginaire, Montvilliers. Le réalisateur explique : "Je suis issu de Montfermeil, j’y ai grandi, ai été nourri par les histoires de ses habitants qui imprègnent forcément mes films mais dans ce cas, j’ai voulu élargir le cadre. Ce qui se passe dans les quartiers de Montfermeil se passe dans de nombreuses autres villes, en France comme ailleurs. En inventant une ville, je me suis dit que tout le monde pourrait s’y refléter. De même pour le principe d’un film choral, qui explore des histoires dans l’histoire, de la trajectoire de ce maire à celle d’une militante associative, de son ami ou du maire adjoint."
"Le tout lié par un constat sur le politique. Bâtiment 5 assure qu’il est temps de repenser les choses. Haby, cette militante, le symbolise, en cherchant des pistes, de nouveaux moyens de faire. A travers elle, j’ai autant voulu évoquer cette nouvelle génération de gens issus des quartiers qui commencent à s’intéresser à la politique qu’à celle qui détient encore le pouvoir mais ne comprend plus rien à notre monde."
Ladj Ly a grandi à Montfermeil et a été témoin de l'un des plans de rénovation urbaine les plus importants en France : "Si ce film s’intitule Bâtiment 5, c’est parce que c’est précisément dans cet immeuble que j’ai grandi. J’ai vu le plan de rénovation urbaine, un des plus importants du pays, se mettre en place, mais aussi comment la population des quartiers en a été victime. L’expropriation des gens avec rachat de leurs appartements à des montants ridicules montrée dans ce film est une réalité qui m’a marqué. Il faut appeler les choses par leur nom, ça a été une gigantesque arnaque."
Ladj Ly explique qu'il a été critiqué par l'a quasi absence de personnages féminins dans Les Misérables, ce qui n'est pas le cas avec Bâtiment 5 puisque l'héroïne est Haby, une jeune femme impliquée dans la vie de sa commune : "Mais nous ne voulions pas que ce soit un sujet essentiellement masculin, que le rapport à la police reste essentiellement “une histoire de mecs !”."
"Pour autant la place plus importante des femmes dans Bâtiment 5 n’a pas été si consciente que ça : c’est simplement parce que ça se passe comme ça dans la réalité. Elles existent, sont fortes, se battent. L’image que l’on a de femmes des quartiers, qui seraient cachées est un cliché. Elles sont au contraire très présentes, actives, notamment dans le milieu associatif."
80% des troisièmes rôles ou des figurants de Bâtiment 5 sont des gens de Montfermeil : "J’aime travailler à la fois avec des gens chevronnés, qui ont du métier et d’autres qui n’ont pas encore d’expérience qui amènent dans le jeu un mélange d’innocence et de sincérité. Et au-delà des comédiens principaux rester dans une véracité", précise Ladj Ly.
À l'origine, Bâtiment 5 a été annoncé comme le second volet d’un triptyque démarré avec Les Misérables, consacré à Claude Dilain (maire de Clichy-Sous-Bois de 1995 à 2011, qui a été une figure de la lutte contre le logement insalubre). Au final, il y a bien un personnage de maire, mais qui est inspiré de plusieurs élus : "Le point de départ de Bâtiment 5 était Claude Dilain. Je l’ai connu, trouvais son parcours intéressant à raconter mais au fil du temps et de l’écriture, le projet a basculé vers autre chose."
"D’autant plus quand un documentaire sur son histoire est entre temps apparu. Une fiction autour de lui aurait fait double emploi. Le scénario est donc parti sur d’autres pistes, mais j’ai conservé un personnage de maire et la toile de fond de l’habitat social qui était un des combats de Dilain. Mais j’ai surtout fait de ce maire, un homme de Droite."
Anta Diaw joue Haby, une jeune femme très impliquée dans la vie de sa commune qui découvre le nouveau plan de réaménagement du quartier dans lequel elle a grandi. Ladj Ly a découvert la comédienne à l'occasion du casting sauvage du Jeune imam de Kim Chapiron, qu'il a co-produit. Le cinéaste confie : "Elle n’y avait qu’un petit rôle, mais je l’avais trouvée incroyable. Avec Haby, j’essaie d’insuffler un peu d’espoir dans Bâtiment 5."
"Certes, j’y montre des personnages désabusés, qui n’y croient plus mais elle représente une possible clé d’ouverture en décidant de s’impliquer jusqu’à se présenter aux élections municipales. Rien ne dit qu’elle sera élue, mais au moins, la démarche est là."
Ladj Ly retrouve Alexis Manenti, qui jouait Chris, le flic de la Brigade Anti-Criminalité de Montfermeil dans Les Misérables (et le court métrage du même nom). Il incarne, dans Bâtiment 5, Pierre Forges, le maire. Ironiquement, l'adjoint au maire est interprété par Steve Tientcheu, qui campait "Le Maire", un personnage emblématique et truculent des Misérables. De son côté, Jeanne Balibar est aussi de retour dans un petit rôle, celui d'une politicienne.
Le film était initialement intitulé Les Indésirables.
Bâtiment 5 abordant la problématique du logement social, Ladj Ly a opté pour une mise en scène différente des Misérables et davantage calée sur quelque chose de plus architectural, symboliquement ou littéralement : "Je crois qu’il restera toujours chez moi la part autodidacte comme une trace de Kourtrajmé et son système de débrouille, sans argent. Les Misérables m’a permis en quelque sorte de me 'professionnaliser'. Il y a eu plus de moyens sur Bâtiment 5 qui ont permis de se poser, d’être moins dans une espèce de guérilla, caméra à l’épaule."
"Mais aussi, puisque ce film-là est plus politique, de renforcer ce propos en l’intégrant dans la forme, donc dans la manière de filmer les espaces, que ce soient les cages d’escalier des bâtiments ou les couloirs d’une mairie, parce qu’il fallait qu’on y ressente ce qu’ils disent de l’époque et de ses rapports de force."