Terrence Malick travaillait encore sur The Tree of Life quand il a commencé à parler du film qui allait devenir Song To Song à ses producteurs Sarah Green, Nicolas Gonda et Ken Kao. Ceux-ci se sont montrés d'emblée enthousiastes à l’idée de tourner une histoire d’amour à Austin, la ville la plus musicale des États-Unis.
Le titre de Song To Song est issu de l'une des répliques du film, prononcée par Rooney Mara : "Je pensais que l’on pourrait vivre de chanson en chanson, de baiser en baiser".
Terrence Malick et une équipe technique réduite, comprenant notamment le directeur de la photo triple-oscarisé Emmanuel Lubezki, ont commencé à tourner alors que le casting n’était même pas encore définitif, durant les trois plus grands festivals qui se déroulent à Austin : Austin City Limits Festival, South by Southwest et et Fun Fun Fun Fest. Pendant ces festivals, l'équipe a alors proposé à de nombreux artistes présents de participer de manière spontanée au tournage.
Terrence Malick a donné une directive de jeu très éloquente à Michael Fassbender pour incarner Cook, producteur musical assoiffée de réussite, mais également mentor de BV (Ryan Gosling) et amant de la petite amie de ce dernier, Faye (Rooney Mara) : "Terrence m’a précisé que le personnage était comme le Satan du Paradis perdu, et c’est de cela que je suis parti. Dans la peau de ce personnage, j’ai constamment tenté de semer le trouble et de jouer la provocation", affirme l'acteur.
Song To Song est le deuxième film que Natalie Portman tourne sous la direction de Terrence Malick après Knight of Cups.
Parmi les nombreux musiciens qui font une apparition dans Song To Song, Patti Smith est celle dont le rôle est le plus important. La musicienne et le réalisateur se connaissent depuis les années 1970, mais c'est à la superviseuse musicale Lauren Mikus que l'on doit leurs retrouvailles sur le film. Rooney Mara est montée sur scène avec la légende pour les besoins d'une scène ; elle raconte cette expérience hors du commun : "Terry voulait que je me produise sur scène avec elle lors d’un concert à Austin. Elle me voyait angoissée, et elle m’a dit qu’elle allait chanter pour moi sur la scène. Elle a demandé qu’on m’apporte une chaise pour que je n’aie pas à rester debout, que je ne me sente pas embarrassée et que je n’aie pas l’impression de la déranger. Je me suis donc assise tout simplement là, sur la scène, et je l’ai écoutée chanter. C’était incroyable".
Parmi les musiciens que l'on peut voir dans Song To Song, on retrouve les Red Hot Chili Peppers, la Suédoise Lykke Li qui trouve ici son premier rôle au cinéma, et ce sont les Black Lips qui jouent le rôle du groupe de Rooney Mara, avec comme chanteur Val Kilmer dans le rôle d'une rock star vieillissante.
La production a également profité de la présence à Austin d’Iggy Pop, de Florence and the Machine et de John Lydon alias Johnny Rotten. Enfin, Lauren Mikus a fait appel à Major Lazer ou encore Die Antwoord, parmi de nombreux autres groupes.
Song to song s'est tourné en seulement 40 jours mais sur une période de presque 2 ans. Les journées de tournage étaient longues et les acteurs ne disposaient que de 30 minutes pour déjeuner. Ces derniers étaient même filmés dans les voitures qui les emmenaient d'un plateau à l'autre juste au cas où un événement se produirait et pourrait être utilisé dans le film.
Le premier montager de Song to Song durait 8 heures.