L'idée de The Whole Gritty City remonte à 2007, lors du tournage à La Nouvelle-Orléans d'un reportage de la série criminelle d'investigation 48 Hours, sur laquelle travaille Richard Baber, et qui s'intéressait au meurtre d'un chef d'orchestre dans le contexte post-Katrina.
Mardi Gras est une célébration très importante de La Nouvelle-Orléans, qui organise pour l'occasion un gigantesque carnaval où beaucoup de musiciens sont invités à jouer devant des milliers de spectateurs venus du monde entier. C'est là que doivent se produire les enfants musiciens que l'on peut suivre dans The Whole Gritty City, et qui travaillent toute l'année au sein de fanfares pour préparer cet événement.
The Whole Gritty City suit les enfants de trois fanfares entre 2007 et 2010. Les jeunes chefs d'orchestre ont pour ambition d'aider ces jeunes, confrontés à l'extrême violence et la pauvreté, à se bâtir un meilleur destin que celui qui est tracé pour eux.