Cinq enfants et moi est adapté du best-seller homonyme d'Edith Nesbit publié en 1902. Le scénariste David Solomons a fait le choix de transposer l'intrigue en 1917, durant la Première Guerre mondiale, une façon pour lui d'apporter "à l'histoire une force émotionnelle sous-jacente inédite".
Pour jouer l'oncle Albert, Kenneth Branagh a lu plusieurs livres décrivant des aristocrates, dont le roman de Mick Jackson The Underground man, récit fictif basé sur la vie d'un duc du Nottinghamshire à la fin du XIXe siècle. Il a également regardé un documentaire sur un dénommé Dennis Thatcher, un homme très intelligent à la personnalité rustre trompeuse.
La créature Psammead a été conçue par Jamie Courtier et Sharon Smith de chez Jim Henson's Creature Shop. Le réalisateur explique : " Nous avons modifié l'aspect de la créature décrite dans le livre. Il a fallu plus d'un an pour concevoir celle-ci. Elle a évolué au fur et à mesure, a grandi par paliers. Il fallait qu'on se rende compte qu'elle a plus de 8 000 ans mais qu'on puisse aussi lui faire des câlins ! "
C'est l'acteur et humoriste Eddie Izzard qui prête sa voix à la créature dans la version originale. L'acteur confie : " J'ai voulu lui donner une voix particulière avec des accents étranges, un mélange de français, d'allemand, d'italien, d'espagnol, d'anglais, avec un côté un peu ancien, peut-être du grec ou du romain."
Le tournage s'est déroulé sur une période de dix semaines à l'île de Man et aux studios de Shepperton. Le producteur Nick Hirschkorn raconte : "Nous avons rencontré beaucoup d'obstacles, que ce soit en matière de météo, avec les enfants, la créature animatronique et même les marées..."
Parce qu'il a beaucoup plu pendant les premiers jours de tournage, les enfants ont dû être régulièrement mouillés pour respecter la continuité des scènes, lorsqu'ils arrivent trempés à la maison de l'oncle.