Pour Arnaud Desplechin, Les Fantômes d’Ismaël est un film comprenant cinq films. Il développe : "C’est le portrait d’Ivan, un diplomate qui traverse le monde sans n’y rien comprendre. C’est le portrait d’Ismaël, un réalisateur de film qui traverse sa vie sans n’y rien comprendre non plus. C’est le retour d’une femme, d’entre les morts. C’est aussi un film d’espionnage… Cinq films compressés en un seul, comme les nus féminins de Pollock. Ismaël est frénétique. Et le scénario est devenu frénétique avec lui ! Pourtant, Ismaël dans son grenier essaie de faire tenir ensemble les fils de la fiction…"
"Je décrivais ainsi mon projet à un ami : « il me semble avoir inventé une pile d’assiettes de fiction, que je fracasse contre l’écran. Quand les assiettes sont toute cassées, eh bien, le film s’achève ». Potlatch, débauche de fictions… Mais pourquoi ai-je eu besoin de fracasser ainsi tous ces fragments d’histoires ? C’est que trois femmes sont nées de ces éclats. Une femme aimée, le souvenir d’une femme disparue, et une amie-lutin. Ces fictions sont dépensées pour elles."
Arnaud Desplechin voulait que chaque scène des Fantômes d’Ismaël arrive crument, avec brutalité, et que les spectateurs ne puissent les esquiver. "Souvent, il m’a été nécessaire de citer mes films références. Pour Les Fantômes d’Ismaël, il m’a fallu avancer seul, même si je vis entouré de mes films aimés. Certains films géniaux me toisent : 8 ½, Providence… Je les ai vus cent fois, je les révère, et ils ne me servent à rien. Allons, comme Truffaut l’écrivait à Deneuve : "Il est exclu de penser que nous ferons un chef d’oeuvre ! On essaiera de faire un film vivant". Je crois ces trois femmes vivantes. Je crois Bloom, qui se bat contre l’âge, vivant lui aussi. Si Ivan est mélancolique, sorte d’Idiot venu de Dostoïevski, Ismaël et ses erreurs est un homme vivant. Et c’est Sylvia qui lui apprendra à vivre", confie le metteur en scène.