L'origine du film est peu banale, puisqu'il s'agit d'une commande du Musée d'Orsay, à l'occasion des célébrations autour de son vingtième anniversaire. Quatre cinéastes avaient été contactés : Hou Hsiao Hsien, Olivier Assayas, Raoul Ruiz, Jim Jarmusch. Chacun devait réaliser un court-métrage mettant en scène le célèbre musée. Ce projet n'a finalement pas vu le jour. Assayas raconte la suite : ""Restait que l'impulsion initiale nous avait inspiré, à mon ami Hou Hsiao Hsien et à moi-même, des personnages, un canevas qui d'emblée excédaient le format court et qui une fois détachés de leur contexte de départ ont pris leur entière autonomie. Donc, en ce qui me concerne, le rapport de l'oeuvre au musée et du visiteur aux objets exposés est la strate géologique la plus ancienne, déterminant une réflexion personnelle sur un sujet universel. De nombreuses autres couches se sont superposées par la suite, selon un processus identique à celui de mes autres films." Le long métrage d'Hou Hsiao Hsien, Le Voyage du ballon rouge, également avec Juliette Binoche, est sorti en salles quelques semaines avant L'Heure d'été.
Olivier Assayas situe L'Heure d'été par rapport à ses oeuvres précédentes : "J'avais envie avec Demonlover, Clean et Boarding gate de projeter mon écriture sur la scène du monde contemporain, où se mélangent les cultures et les langages, où la circulation des individus est déterminée -comme à toutes les époques- par celle des marchandises et de l'argent. Je n'imaginais pas que cela m'emmènerait si loin de ma thématique originelle et des valeurs établies du cinéma français. Depuis longtemps, j'avais envie de revenir chez moi, même si c'est pour repartir après. C'est pourquoi j'ai tout de suite réagi à la proposition du Musée d'Orsay. C'était l'occasion de me ramener à une matière qui est celle de mon passé, de mon histoire, de mes racines." Il précise : "Je ne sais pas si L'Heure d'été est un film somme mais il récapitule beaucoup de choses à un moment où j'en ai besoin. D'une façon semblable, Désordre, mo premier film, était une sorte de matrice, d'autoportrait intime à cet instant-là de ma vie : il représentait l'ensemble de ce que je connaissais alors du monde."
Le cinéaste revient sur la dimension universelle du sujet de L'Heure d'été : "Chacun a son propre rapport à la famille et connaît bien sous une forme ou une autre la petite mécanique qui en anime les rouages. De ce film, il est aisé de le transporter dans un autre contexte, tout en restant véridique. Même si mes relations avec ma famille, qui n'est pas celle-là, ne sont pas de cette nature-là, il y a fatalement des résonances autobiographiques. Et ce que cela déclenche chez les comédiens est du même ordre. Il y a le film que j'ai écrit et celui qu'on a fait : j'ai laissé les comédiens inventer leurs personnages, constitués de leur expérience. Quand on est dans une immédiateté avec un sujet simple et universel, chacun peut y apporter des choses authentiques et qui lui appartiennent." Il ajoute : "(...) j'ai écrit ce film à un moment où je savais que ma mère ne serait pas éternelle. Elle est morte l'année dernière. Cela m'a imposé de repenser le film dont le thème prenait une résonance qui me débordait."
Olivier Assayas, dont on connaît le goût pour le cinéma asiatique (qu'il contribua à faire découvrir lorsqu'il était critique aux Cahiers du Cinéma dans les années 80), estime que L'Heure d'été est "[son] film le plus taïwanais !" Il précise : "C'est ma schizophrénie personnelle mais je me sus toujours vécu comme une sorte de cinéaste taïwanais travaillant en France. Quand j'ai commencé à faire des films, les préoccupations de Hou Hsiao Hsien et d'Edward Yang me touchaient et rencontraient les miennes. Plus tard, j'ai été marqué par le travail de Wong Kar-Wai et de Tsai Ming-liang. C'est ma famille plus que le cinéma français de l'époque, celui de cinéastes qui y débutaient alors et avec lesquels j'avais peu d'affinités, au sens générationnel (...) Ce dialogue qui me manquait, j'ai eu l'impression de l'avoir, symboliquement, avec mes amis chinois, aussi bizarre que cela puisse paraître. Avec L'Heure d'été, je reviens à une matière très locale où il y a ce rapport à la nature, au temps, à la modernité qui sont des thèmes communs avec Hou Hsiao Hsien.
Le cinéaste parle de sa collaboration avec Charles Berling, qui a déjà été au centre de deux de ses précédents longs métrages, Les Destinées sentimentales et Demonlover : "J'ai eu envie de traaviller avec Charles Berling à différents moments de ma filmographie. Car il a une capacité assez unique à se transformer, à explorer dans le cinéma et le théâtre les multiples facettes de sa personnalité : c'est aussi, je crois, comme cela que j'aborde l'écriture cinématographique." S'agit-il alors d'un alter ego ? "Après 3 films ensemble, je suis obligé d'affronter cette question ! Bien sûr, dans L'Heure d'été, Charles Berling est le porte-parole de mes propres interrogations. Comme souvent dans mes films j'ai l'impression d'être un petit peu les uns et les autres, selon des dosages presque aléatoires. Là je suis un peu Frédéric mais aussi un peu Adrienne et d'autres encore..."
Pour jouer le rôle du petit ami d'Adrienne, Olivier Assayas a fait appel à un comédien inattendu : Kyle Eastwood. Musicien reconnu, celui-ci n'était jusqu'alors apparu à l'écran que dans des films de son père.
Jérémie Renier confie, à propos des thèmes abordés dans le film : "Mon personnage est le dernier de la famille et il veut en quelque sorte se prouver qu'il est adulte. Il dirige une société, il est chef de famille, il a des responsabilités. Le film d'Olivier Assayas a trouvé des échos en moi. Je me posais la question de la transmission, à travers un documentaire que je réalisais à l'époque sur mon grand-père. Il est décédé depuis. Je voulais moi-même porter un regard sur l'intergénérationnel."
Après quelques rendez-vous manqués (elle avait failli être l'héroïne des Les Destinées sentimentales), Juliette Binoche est dirigée pour la première fois par Olivier Assayas. Elle parle de son personnage : "Adrienne est une rebelle. Elle a voulu se défaire du passé, se réinventer et sortir du poids de la famille. Pour cela, elle est partie loin, de l'autre côté de l'océan. La distance lui a permis cette renaissance (...) Quand j'ai lu le scénario, j'ai aimé cette idée d'explorer les relations familiales et de me poser des questions sur l'héritage (...) Finalement, j'ai l'impression qu'Adrienne reçoit l'héritage artistique de la famille (elle est créatrice d'objet, designer de renom), et à la fois le décès de sa mère la laisse dans un grand vide qui l'isole de ses frères." Précisons que le cinéaste et la comédienne se connaissent depuis un certain temps, puisque Assayas avait-coécrit le scénario de Rendez-vous d'André Téchiné, le film qui lança la carrière de Binoche en 1985...
Dominique Reymond a déjà été dirigée par Olivier Assayas dans Demonlover et Les Destinées sentimentales, deux films dans lesquels elle avait déjà pour partenaire Charles Berling (son compagnon dans L'Heure d'été).
Le fils de Charles Berling dans le film est interprété par le vrai fils du comédien, Emile Berling.
Au départ, le cinéaste avait pensé intituler son film Souvenirs du Valois. D'autre part, François Cluzet avait été pressenti pour jouer le rôle d'un des deux frères.
L'animateur radio qui interroge Frédéric est interprété par un journaliste de France Culture, Marc Voinchet. Il y a présenté entre autres une émission hébdomadaire consacrée au septième art intitulée Personne n'est parfait.