Sarah Leonor signe avec Le Grand homme sa quatrième collaboration avec le producteur Michel Klein, la dernière étant sur Au voleur en 2008.
Sarah Leonor explique que suite à la mort de son père et celle de Guillaume Depardieu (qu’elle avait dirigé dans Au voleur en 2008), la question de la mort s’est imposée à elle. Après la lecture du mythe antique de l’épopée de Gilgamesh, la cinéaste renseigne : "L'idée de la mort est une idée avec laquelle il faut savoir vivre, presque comme une amie. Qu’il faut apprendre à connaître. C’est la seule manière d’être en paix avec elle. Accomplir sa vie, c’est accepter l’idée de sa mort…" Le Grand homme s'avère être pour elle une transposition moderne de ce mythe : "La Légion étrangère m’est apparue comme le cadre idéal. Ce n’est pas pour autant un film sur la Légion, ce n’est qu’un des points de départ", termine-t-elle.
Pour réaliser et écrire le scénario avec Emmanuelle Jacob, Sarah Leonor s’est documentée sur les guerres actuelles en recueillant notamment des témoignages de soldats. Cependant, durant la phase d’écriture, la réalisatrice n’a pas tenu à rencontrer de légionnaires. Elle ne voulait pas que cela influence son sujet principal. Néanmoins, un ancien légionnaire du nom de Daniel Fassi l’a accompagné durant toute la phase de préparation jusqu'à la réalisation. Sa collaboration a permis de ne pas basculer dans "un fantasme de violence ou de puissance qui, non seulement n’était pas en accord avec la réalité, mais ne faisait pas sens", précise la réalisatrice.
Pour recruter les acteurs tchétchènes (non-professionnels), Sarah Teper, la directrice de casting, a posté des annonces sur Internet avec l’aide de l’actrice d’origine tchétchène Issita Arslanov. Dès que des profils attiraient l’attention de la réalisatrice, celle-ci organisait des rendez-vous et des pré-castings via Skype. C'est par ce moyen que Surho Sugaipov et Ramzan Idiev furent choisis.
Le Grand homme est le premier film numérique de Sarah Leonor, ce qui ne l’a pas empêché de poursuivre sa collaboration avec le chef opérateur Laurent Desmet, avec qui elle signe sa quatrième association, après L’Arpenteur, Le Lac et la rivière et Au voleur.
Martin Wheeler, qui compose la musique du long-métrage, a déjà travaillé sur des thèmes inhérents à Le Grand homme. Il a notamment composé pour un documentaire sur la Première Guerre mondiale.