Dans Factory Girl, Sienna Miller prête ses traits à Edie Sedgwick qui fut la muse de Andy Warhol. Ce dernier l'invita dans son atelier d'artistes nommé la Factory et qui lui sert en même temps de studio d'enregistrement pour ses oeuvres cinématographiques. Il l'a fait tourner dans plusieurs courts métrages dans les années 60 tels que Kitchen mais aussi dans le long métrage Chelsea Girls.
Après avoir incarné le rôle d'une drag queen dans Priscilla, folle du désert et celui d'un amnésique dans Memento , c'est dans la peau de Andy Warhol, artiste de pop art que nous retrouvons Guy Pearce dans Factory Girl. Il joue aux côtés de Sienna Miller et Hayden Christensen qui interpréte le rôle de la rock star Danny Quinn. Quant à Jimmy Fallon qui a déjà prêté sa voix dans Arthur et les Minimoys, il est Chuck Wein dans le film.
Le guitariste et chanteur Brian Bell et le batteur Patrick Wilson (II) du groupe Weezer ont fait une nouvelle version de la chanson Heroin des Velvet underground pour les besoins du film. Ils ont également joué dans Factory Girl. Brian Bell interpréte le rôle de Lou Reed et Patrick Wilson (II) celui de John Cale
C'est le premier film où nous voyons Mary-Kate Olsen sans sa soeur jumelle Ashley Olsen.
Le rôle de Edie Sedgwick fût proposé à Katie Holmes qui a décliné l'offre pour suivre les conseils de Tom Cruise. Ce dernier pensait que le film pourrait nuire à l'image de l'actrice. Elle dira plus tard : " J'ai refusé le rôle dans Factory Girl sur mes propres décisions. ". Le rôle a donc été attribué à Sienna Miller.