La Frontière de l'aube a été présenté en Compétition à Cannes en 2008.
Pour la deuxième fois consécutive, après Les Amants réguliers, Philippe Garrel a confié le rôle principal de son film à son fils, Louis Garrel, qu'on avait déjà aperçu, enfant, dans Les Baisers de secours, en 1989. Dans le passé, il a souvent filmé son père, Maurice Garrel. "C'est (...) une manière de traiter le temps, à la fois le passage de relais entre nous trois et celui des générations. Louis, ce n'est pas juste lui, il incarne sa génération comme j'ai incarné la mienne quand j'avais le même âge", confie le réalisateur.
C'est dans la littérature qu'il faut chercher l'origine de La Frontière de l'aube : "Mon ami Frédéric Pardo, le peintre, disparu, m'avait donné une nouvelle de Théophile Gautier, Spirite, l'histoire d'une femme qui apparaît dans un miroir après s'être suicidée et qui appelle un homme dans l'au-delà", se souvient le réalisateur. "Chez Gautier, elle n'avait jamais rencontré cet homme, elle fantasmait et était entrée au couvent, où elle s'était suicidée le jour où elle avait pris conscience qu'elle ne l'aurait jamais. Un jour alors que l'homme s'apprête à se marier, cette femme lui apparaît et lui raconte toute son histoire. Je trouvais très belle cette histoire d'apparition, et en même temps peu cinématographique. Jusqu'au jour où j'ai commencé à penser raconter le suicide d'une femme qui réapparaîtrait dans un miroir et entraînerait dans la mort celui avec lequel elle a eu une liaison malheureuse."
Le cinéaste souligne que ce qui fait la singularité de ce film à l'intérieur de son oeuvre, c'est "cette intrusion du surnaturel, faire un film fantastique comme Franju. Je m'étais cassé les dents sur le rêve, dans Le Coeur fantôme (...) J'ai donc abandonné le rêve au profit du surnaturel, pour continuer mon exploration du rapport entre le réel et l'imaginaire. L'apparition dans le miroir me permet de passer au rêve éveillé. Raconter une histoire réelle qui tout à coup, dans la dernière bobine, soit entièrement remise en question. Ce que je trouvais génial dans Rosemary's Baby de Roman Polanski, c'est quand l'héroîne se rend compte que tous les personnages qu'elle a croisés depuis le début font partie de la secte du diable, son docteur, ses voisins... On revoyait tout le film par rapport à cette clé-là." Sur le plan technique, il note : "Bien que rationaliste, je trouve qu'au cinéma le surnaturel est un filon, si on l'utilise comme l'ont utilisé les surréalistes. Si tu fais un film sur les tables qui tournent, ça marche très bien. Je n'ai pas voulu faire de trucage numérique, d'images de synthèse, plutôt faire du bricolage à la manière de Jean Cocteau".
A l'origine, le film avait pour titre Le Ciel des anges, une expression extraite de Blanche ou l'oubli d'Aragon. Philippe Garrel explique pourquoi il a changé d'avis : "Ça me plaisait bien, mais j'étais un peu contrarié par le côté néo-catholique. Et une nuit, à quatre heures du matin, j'ai pensé à La Frontière de l'aube, qui évoquait à la fois le thème du suicide et celui du spectre. J'ai tourné le film avec ce titre en tête, ce qui me donnait une clé pour chaque séquence. Peut-être est-ce un titre trop délibérément poétique (...) La poésie, au cinéma, elle ne peut que se dégager inconsciemment. Elle surgit si le film a une âme."
L'un des rôles principaux du film est interprété par Clementine Poidatz, comédienne aperçue dans le précédent film de Garrel, Les Amants réguliers, ou dans Marie-Antoinette. Issue du Conservatoire, elle y a notamment eu comme professeur... Philippe Garrel. Depuis Sauvage innocence, celui-ci fait jouer plusieurs personnages de ses films par ses élèves. C'est encore le cas ici, la majorité des rôles de La Frontière de l'aube ayant été confiés à ces acteurs en herbe.
Dans le film, Carole subit des électrochocs, une expérience qu'a vécue Philippe Garrel au début des années 70 : il avait séjourné en hôpital psychiatrique après avoir tenté de fracturer la Villa Médicis à Rome, lors du tournage de La Cicatrice intérieure. "J'ai fait reconstituer la pièce où on m'avait fait ces électrochocs, de mémoire, avec la camisole, la table en plomb. Mais ça n'a pas loupé, on m'a dit ça fait chiqué, on dirait du Fritz Lang ! Oui, il y a une identification. Je me sens concerné par ce qu'elle vit, quand on la décrète folle dès qu'elle devient politique. Une chose qui est restée très contemporaine : quand quelqu'un commence à adhérer à la révolution, il est dans le délire !"
Partisan du noir et blanc, Philippe Garrel explique qu'il a fait ce choix, pour ce film, "à cause des apparitions. Je ne pouvais pas faire un film pareil en couleurs. Le noir et blanc permet d'être plus facilement dans l'imaginaire, on est plus prêt à accepter que quelqu'un surgisse dans un miroir. Je n'utilise pas le noir et blanc par caprice. Pour Les Amants réguliers, il était justifié par la difficulté de la reconstitution. En optant pour le noir et blanc on a fait la moitié du travail."
Pour l'écriture de La Frontière de l'aube, Philippe Garrel s'est entouré de fidèles complices, l'écrivain Marc Cholodenko (co-auteur de tous ses films depuis Les Baisers de secours en 1988) et Arlette Langmann (quatrième collaboration). C'est également la quatrième fois qu'il fait appel au monteur Yann Dedet. Enfin, la photo du film est signée Willy Lubtchansky, à qui on doit déjà le noir et blanc des Amants réguliers.
La musique du film, une partition pour violon, est signée Jean-Claude Vannier, qui avait déjà composé la BO des Amants réguliers (du piano, cette fois...) et celle de Sauvage innocence. Personnalité influente, mais méconnue, de la chanson française, Vannier fut notamment un collaborateur de Serge Gainsbourg - il a participé à la conception de Histoire de Melody Nelson, l'un des plus fameux albums de L'Homme à tête de chou. Lui-même chanteur, il a également écrit des morceaux pour Françoise Hardy, Michel Jonasz ou encore Maurane. Précisons que le violon de La Frontière de l'aube est tenu par le grand musicien de jazz Didier Lockwood.