Il aura fallu quinze ans à Olivier Jahan pour réaliser son deuxième long-métrage, après l'échec de Faites comme si je n'étais pas là. Si le réalisateur n'a pas été absent du monde du cinéma (réalisation de courts-métrages, d'un documentaire sur la Quinzaine des réalisateurs à Cannes), financer un nouveau projet a été difficile.
La maison dans laquelle a été tourné le film est en réalité la maison du père d'Olivier Jahan. Il était important pour le réalisateur de tourner dans un environnement connu, puisqu'il a lui aussi, comme Eléonore, dû traverser l'épreuve de vendre un bien immobilier familial.
Le couple d'Eléonore et Samuel est à l'image des châteaux de sable, qui sont construits, détruits, reconstruits, comme l'explique Olivier Jahan : "Leur relation est plutôt dégradée au départ, ils sont très à fleur de peau, leur séparation étant assez récente. Chacun d’eux, même s’il ne veut pas se l’avouer, la vit plutôt mal. Ces retrouvailles forcées les déstabilisent, surtout Samuel parce qu’il se sent coupable vis-à-vis de sa nouvelle compagne. Eléonore, elle, oscille entre provocation et besoin de réconfort. Mais il y a quelque chose de quasiment imparable dans ce couple, qui va en effet se reconstruire durant ce weekend, sans doute de manière un peu plus apaisée (encore que…). Cela justifie d’ailleurs le titre du film : "Les châteaux de sable" ce sont des édifices qui se construisent, se déconstruisent puis se reconstruisent…"
Le scénario des Châteaux de sable a été construit un peu à la manière d'un roman. Cela se ressent dans l'utilisation de la voix off qui raconte le film à la manière d'un narrateur littéraire.
A certains moments du film, les acteurs s'adressent directement au public en regardant la caméra et en récitant un texte. Ce procédé, assez rare, était très utilisé durant la Nouvelle Vague dans des films tels que Pierrot le Fou ou A bout de souffle.
Emma de Caunes a joué un de ses premiers rôles sous la direction d'Olivier Jahan dans le court-métrage qui s’appelait Au bord de l’autoroute en 1997. Après plusieurs courts-métrages et Faites comme si je n'étais pas là, il la dirige aujourd'hui dans son second long-métrage.
Le tournage des Châteaux de sable a duré environ 20 jours, à cause du petit budget dont il a bénéficié. Cette "urgence" à filmer a donné en quelque sorte le ton aux acteurs, qui se retrouvent, dans le film, obligés de vendre rapidement la maison du père d'Eléonore (Emma de Caunes).
La relation entre Samuel (Yannick Renier) et sa fiancée Laure (Gaëlle Bona) ne se fait qu'à distance durant tout le film, au téléphone ou par internet. Cela a été un challenge pour les deux acteurs de rendre cette relation crédible.
Ce n'est "que" la deuxième fois qu'Alain Chamfort apparaît au cinéma dans un long-métrage, après Les Jeux des nuages et de la pluie en 2013.
Le titre de travail du long métrage était Ker Salloux, modifié ensuite en Les Châteaux de sable.