Ensemble, c'est tout est l'adaptation cinématographique du roman homonyme de l'écrivain français Anna Gavalda, publié en 2004. C'est la première fois qu'une de ses oeuvres est adaptée au cinéma.
Après avoir adapté sur grand écran les plus grands auteurs classiques de la littérature française comme Marcel Pagnol (Jean de Florette, Manon des Sources) ou Emile Zola (Germinal), Claude Berri s'essaie aux auteurs contemporains. Avant sa collaboration avec Anna Gavalda, il a adapté un roman de Christian Oster (Une femme de ménage).
Sept ans après le tournage du film Le Battement d'ailes du papillon, Francoise Bertin retrouve Audrey Tautou. Ensemble, c'est tout est aussi l'occasion pour Francoise Bertin de revoir Guillaume Canet, avec qui elle a joué il y a deux ans dans L'Enfer.
Juste avant que le livre de Gavalda ne devienne un best-seller, l'avocat de Claude Berri, Emmanuel Pierrat, lui a conseillé de le lire. Le cinéaste se souvient : "Je l'ai aimé et j'ai senti que beaucoup de gens allaient s'y intéresser. Avant que je ne me décide à réserver les droits du livre, Emmanuel Pierrat a demandé à l'éditeur de ne pas les vendre tant que je n'aurais pas pris une décision. Puis, j'ai fini la lecture et j'ai encore hésité, vu la densité du roman. Le succès grandissant du livre m'a ensuite confirmé dans cette intuition. Alors, avant même d'être sûr que le livre pouvait être adapté, j'ai pris les droits."
Au départ, Claude Berri n'avait pas prévu de réaliser le film, il comptait simplement en écrire l'adaptation. Puis il a démarré le scénario, et au fur et à mesure qu'il avançait, il s'amusait de plus en plus à écrire les scènes. Il a travaillé avec Anna Gavalda deux ou trois fois, puis comme tout ce qu'il lui proposait lui plaisait, elle lui a laissé carte blanche. Une fois le script achevé, il ne voulait pas que quelqu'un d'autre que lui réalise le film.
Claude Berri pensait à Charlotte Gainsbourg avant même de commencer l'écriture du scénario. Il l'avait dirigée dans son dernier film, L'Un reste, l'autre part, et souhaitait retravailler avec elle. Elle a donc été choisie pour interpréter Camille. Mais l'actrice, ayant fait une chute en snowboard et devant porter un corset pendant trois mois, a dû déclarer forfait deux mois avant le début du tournage. Ludivine Sagnier et Audrey Tautou ont alors été contactées et c'est finalement la seconde qui a été choisie pour le rôle.
A noter que le film marque également la troisième collaboration entre Danièle Lebrun et Claude Berri, après Uranus en 1990, et La Débandade en 1999.
Pour choisir les comédiens qui interpréteraient Franck et Philibert, Claude Berri a procédé de manière totalement différente. Quand il a vu Guillaume Canet, il lui a tout de suite plu pour le rôle de Franck. Ils avaient tous les deux envie de travailler ensemble, et le cinéaste ne lui a pas fait passer d'essai. Pour le rôle de Philibert, beaucoup d'auditions ont été nécessaires avant de trouver Laurent Stocker. Afin de trouver l'actrice qui incarnerait le mieux Paulette, Claude Berri a tout d'abord pensé à l'actrice Tsilla Chelton, mais à cause de l'importance du rôle et de son âge, les assurances n'ont pas voulu la couvrir. Et lorsqu'il a auditionné Francoise Bertin, il a su qu'il tenait la bonne personne.
Juste avant de commencer le film, Claude Berri a subi plusieurs épreuves personnelles. Il se confie : "Avant de commencer le film, j'ai eu un accident vasculaire cérébral et j'ai fait une dépression. Je suis sorti de cette dépression au moment où je faisais le casting et les repérages. Je me sentais en mesure de faire le film. On a commencé à tourner et, dans la troisième semaine, j'ai senti que la dépression allait revenir. Nathalie Rheims m'a alors conseillé d'avoir quelqu'un à côté de moi, pour m'aider à gérer l'ensemble de l'équipe. J'ai eu la chance qu'un metteur en scène, qui a énormément de talent et que j'aime beaucoup, François Dupeyron, soit libre. Il m'a vraiment donné un coup de main."