Les Rivières pourpres 2 devait s'inscrire dans une trilogie amorcée en 2000 avec Les Rivières pourpres, adapté du roman de Jean-Christophe Grangé et réalisé par Mathieu Kassovitz, et qui devait s'achever avec Les Rivières pourpres 3 : les armes de l'ombre sous la direction de Florent Emilio Siri, film qui ne verra finalement jamais le jour.
Le producteur Alain Goldman se souvient de la manière dont lui est venue l'idée d'une suite : "J'ai songé à ce qui s'était passé avec Alien. Quatre films, quatre visions d'un univers commun. Ridley Scott, James Cameron, David Fincher et Jean-Pierre Jeunet s'étaient succédé pour offrir leur version à travers une base commune. Cette démarche m'a inspiré".
L'écrivain Jean-Christophe Grangé a très tôt été associé au projet par Alain Goldman qui lui a proposé de concevoir une intrigue. Pourtant, après plusieurs mois, tout en étant heureux de voir se prolonger quelque chose qu'il avait créé, il ne trouvait rien à écrire sur le sujet.
Au même moment, le producteur rencontrait Luc Besson au Festival de Cannes et lui confiait que Jean-Christophe Grangé ne parvenait pas écrire un deuxième opus. Trois semaines plus tard, Luc Besson, qui avait fait des recherches sur la ligne Maginot et sur Lothaire, l'a recontacté pour lui raconter une histoire jugée excellente par le producteur. Ce dernier l'a alors engagé pour être scénariste sur le projet et Luc Besson a par la suite accepté de devenir également le distributeur du film à travers sa société EuropaCorp.
Après avoir abordé les thèmes de l'enfance et de l'abandon à travers ses précédents films (Dejà mort, Le Petit Poucet et La Vie promise), Olivier Dahan avait l'impression d'avoir achevé un cycle et souhaitait changer radicalement de registre. Ce lui-ci se souvient : "Au moment où on m'a proposé Les Rivières pourpres 2, m'impliquer dans un projet que je n'avais pas écrit et dont je n'étais pas l'instigateur me tentait. L'idée d'aborder un second chapitre aussi".
Les Rivières pourpres 2 marque la seconde collaboration d'Olivier Dahan avec Benoît Magimel, qu'il avait dirigé dans Dejà mort en 1998. Ce dernier prend la place de Vincent Cassel dans ce deuxième volet de la saga, mais n'interprète pas le même personnage : Benoît Magimel incarne en effet le capitaine de police Reda, tandis que Vincent Cassel tient le rôle de Max Kerkérian, ancien malfrat ayant rejoint les rangs de la police.
Pour incarner au mieux le jeune capitaine de police, Benoît Magimel a retravaillé avec Alain Filas, cascadeur sur Nid de guêpes. Ce dernier l'a entraîné à être un flic, notamment dans le maniement d'une paire de menottes et d'un revolver. Deux mois de préparation physique ont été nécessaires et Benoît Magimel a même eu l'occasion de participer à quelques patrouilles dans Paris.
Les Rivières pourpres 2 a été tourné pour la plupart du temps sur les lieux mêmes de l'action, à savoir en Lorraine, sur la ligne Maginot. Mais l'équipe de production a également filmé certaines scènes dans le Fort de Fermont et dans un monastère d'Auvergne complètement redécoré à l'occasion. Les séquences se déroulant dans le commissariat ont quant à elles été tournées dans un grand bâtiment un peu Art Déco, situé à la frontière luxembourgeoise.