Le réalisateur Karim Dridi souhaitait refaire un film sur les quartiers défavorisés de Marseille, 15 ans après Bye-bye. Partis sur les prisons pour mineurs de Marseille, Il rencontre son acteur de l'époque Sofiane Mammeri qui l'oriente vers les camps de gitans. En voyant ces camps, il est décidé à en faire un film. "J'ai vraiment halluciné quand j'ai vu leurs conditions de vie. Ces gens font partie de la population française, mais ils sont le sous-prolétariat du sous-prolétariat, personne n'en parle." remarque t-il alors.
Alors qu'il choisit quelques gitans du camp pour incarner ses personnages, Dridi rencontre Mehdi Laribi, qu'il choisit pour incarner son seul rôle maghrébin. La relation entre eux fut au départ très conflictuelle. "Les premières rencontres entre Medhi et les Gitans du camp Mirabeau furent assez violentes. Les insultes : "sale gitan", "sales bicots" fusaient de toute part. Puis quand nous avons commencé à répéter, leurs rapports sont devenus plus simples, moins tendus, il y avait quelque chose de l'ordre de la reconnaissance mutuelle, du respect." dit-il à ce propos.
Simon Abkarian, acteur dans Casino Royale, a été choisi par Karim Dridi pour incarner le père de Marco. Ils avaient déjà tournés ensemble dans Gris-Blanc.
Le titre Khamsa fait référence à la main de Fatma, que le réalisateur ne considère pas du tout comme religieux. "Pour moi, ce symbole est la marque de l'humanité,de l'être humain, la main ouverte, offerte à l'autre. Ce titre revêt alors des allures paradoxales tant la main n'est pas tendue à ces gitans.
Pour éviter les clichés, Karim Dridi s'est installé pendant un an et demi dans le camp de gitans avec sa caravane. Il a admis ensuite que lui-même s'était laissé emporter par cette image lors de son premier script écrit à Paris.
Aidé de son complice Sofiane Mammeri et de Véronique Ruggia, une coach pour enfants, le réalisateur a animé un atelier théâtre pendant quatre mois avec les enfants du camp. Ce fut pour lui l'expérience la plus difficile tant les enfants n'étaient pas réceptifs au départ. "J'en ai parfois pleuré et failli abandonner à plusieurs reprises. Mais je suis très content d'avoir tenu bon..."