Le metteur en scène et scénariste John Carney explique comment l'idée de New York Melody lui est parvenue : "Je me suis intéressé à ce qui se passerait au sein d’un couple de musiciens si la carrière de l’un décollait et pas celle de l’autre. Le succès prend-il le pas sur l’intimité, la confiance et la loyauté ? Je voulais savoir où étaient ces passionnés qui parcouraient l’Irlande à la recherche du prochain U2 dans les années 90, et j’ai eu l’idée de confronter l’un de ces producteurs désabusés à une jeune artiste d’aujourd’hui, capable d’enregistrer et de mixer son album sur son ordinateur, pour voir ce qu’il en ressortirait."
Le personnage de Gretta devait initialement être joué par Scarlett Johansson. Elle a finalement refusé le rôle qui est revenu à Keira Knightley.
John Carney fut bassiste avant d'entamer une carrière dans le cinéma. Il a cherché à imprégner dans la plupart de ses films son univers musical, comme ce fut le cas en 2007 avec ONCE et aujourd'hui avec New York Melody.
Avec New York Melody, Keira Knightley s'adonnait pour la première fois véritablement à la chanson : "C’était une première pour moi. La plupart des chansons n’étaient pas finies lorsque je suis arrivée à New York. J’avais travaillé avec un professeur de chant afin de trouver la voix du personnage, mais certains titres de Gretta ne m’ont été remis que le jour de leur enregistrement, il a donc fallu que je me fie à mon instinct en croisant les doigts pour que tout se passe pour le mieux."
Adam Levine, chanteur du groupe à succès "Maroon 5", n'avait aucune expérience en tant qu'acteur avant New York Melody : "Je n’aurais jamais envisagé de faire du cinéma si je n’avais pas eu un coup de coeur pour l’histoire. J’aime beaucoup le style de John, c’est un musicien, comme moi, et nous partageons la même sensibilité. Nous nous sommes entendus à merveille. (...) jouer la comédie a été un vrai défi que j’ai pris plaisir à relever."
C'est John Carney lui-même qui a écrit la plupart des chansons du film. Son approche était de retranscrire en musique l'état émotionnel des personnages mais aussi les différents styles de musiques populaires d'aujourd'hui et de New York en particulier.
John Carney a écrit les chansons à la dernière minute. En effet, il voulait développer dans un premier temps les personnages à travers les dialogues et l’action de New York Melody. De cette façon, l’histoire devait fonctionner indépendamment de la musique, qui elle, ne servirait qu'à souligner l’intrigue. Le scénario était donc composé d'indications concernant l'emplacement des chansons avec des annotations sur leur fonction dans l'histoire et ce, sans parole ni mélodie.
Pour enregistrer les chansons de New York Melody, l'équipe du film n'a pas fait dans la moindre mesure, puisqu'elle a préenregistré la plupart des titres chez "Les Electric Lady Studios", l'un des plus célèbres studios de New York, qui fut construit par Jimi Hendrix dans le Greewich Village.
Le chef décorateur Chad Keith a fait en sorte que la ville de New York soit un personnage à part entière dans le film. Les repérages ont été faits d'une manière peu commune, comme l'explique le producteur Anthony Bregman : "Il voulait que nous repérions aussi les décors avec nos oreilles : une première pour moi !" En effet, le réalisateur John Carney s'est attaché à ce que les décors aillent avec l'enjeu principal de New York Melody, à savoir l'enregistrement d'un album dans les rues new-yorkaises.