Le personnage de Kolia est interprété par Kolia Litscher qui n'est autre que le petit frère de la réalisatrice Isild Le Besco (elle l'avait déjà dirigé dans son premier long-métrage Demi-tarif). La réalisatrice a également fait appel à un autre frère, Jowan Le Besco, pour assurer les prises de vue. Parallèlement, la caravane où habite le personnage de Julie-Marie Parmentier appartient aux grands-parents de la réalisatrice.
Charly est le second film d'Isild Le Besco en tant que réalisatrice après Demi-tarif (2004). Celle-ci revient sur la genèse du film : "Je tournais Backstage d'Emmanuelle Bercot quand mon petit frère Kolia est venu me voir. Il était en train de passer de l'adolescence à l'âge adulte, et j'ai senti que c'était ce moment-là qu'il fallait attraper dans un film. Nous avons toujours eu un rapport très proche, un lien fort. Je le suis beaucoup occupée de lui. Je savais qu'on pouvait attraper cette chose en lui. Et je devais surtout aller vite, sinon ça allait partir. Il voulait être acteur et je voulais le mettre devant son envie, le confronter à quelque chose de dur, pour que ça devienne, ou non, un désir. Si j'attendais un an, c'était foutu...."
Isild Le Besco évoque sa rencontre avec l'actrice Julie-Marie Parmentier, et ce qui l'a attiré chez la comédienne : "Je l'ai rencontrée il y a six ans sur un tournage, Le Choix d'Elodie d'Emmanuelle Bercot. J'avais 16 ans, elle en avait 17. A une époque, temporairement elle s'est installée chez moi. C'est sa peau très blanche et ses cheveux roux qui m'ont inspirée. Cela allait bien avec le brun de mon frère, et le côté animal sauvage de cette rencontre me plaisait. Julie-Marie me fascine assez, avec son côté complètement décalé. Comme s'il y avait de la pierre en elle."
Le tournage de Charly dura précisément 15 jours, tout comme l'action du film. En plaçant ses interprètes dans une situation analogue à celle des protagonistes du film, la réalisatrice chercha à tirer le maximum d'authenticité des scènes, où l'improvisation joua d'ailleurs un rôle prépondérant.