Du temps où David Yates était à la tête du projet, le casting du film se composait, entre autres, de Paul Bettany, Jennifer Connelly et Jude Law incarnant respectivement les rôles de Charles Ryder, Julia Flyte et Sebastian Flyte. Après le changement de réalisateur et le retard pris par la production, les rôles ont finalement été attribués à Matthew Goode, Hayley Atwell et Ben Whishaw.
Initialement le film devait être mis en scène par David Yates. Le réalisateur anglais a finalement dû se désengager du projet pour réaliser Harry Potter et l'Ordre du Phénix. C'est alors Julian Jarrold qui a prit sa place à la tête du film.
Devant la caméra de Julian Jarrold (Kinky boots, Jane), on retrouve deux acteurs que le grand public a découvert chez Woody Allen. Il s'agit de Matthew Goode, vu dans Match Point, et de Hayley Atwell qui a débutée dans Le Rêve de Cassandre. Ben Whishaw fait également parti de ces jeunes acteurs qui s'affirment de plus en plus. Il s'est révélé dans Le Parfum : histoire d'un meurtrier ainsi que dans I'm Not There de Todd Haynes.
La production du film n'a pas été aisée. Les fans du livre d'Evelyn Waugh se sont insurgés lorsque le synopsis du film a été communiqué. Les amoureux de l'oeuvre originale ont criés à la trahison, la production du film ayant retravaillée les relations entre les trois personnages principaux, laissant entendre l'institution d'un triangle amoureux. Robert Bernstein, producteur du film, a eu besoin de l'accord de la famille de l'auteur pour pouvoir entreprendre ces changements et a toujours était en accord avec ce qu'il avait décidé. Il justifie sa position en disant que le film ne durant que deux heures, des changements par rapport à l'oeuvre originale sont indispensables. Il lui est impossible de raconter l'histoire en onze épisodes, comme cela fut le cas pour la série télévisée britannique. Pour lui, il important de recentrer l'intrigue sur ce qui constitue le coeur de l'oeuvre, en l'occurrence la notion de triangle.
Le roman Brideshead Revisited de Evelyn Waugh avait déjà été adapté en une mini-série de onze épisodes en 1981. Jeremy Irons interprétait alors le rôle principal. La série a connu un important succès, Irons ayant été nominé aux BAFTA (les Césars britanniques) pour sa prestation dans le rôle de Charles Ryder. C'est son collaborateur d'alors, Anthony Andrews (Sebastian Flyte), qui a remporté le prix, gagnant également la même disctinction aux Golden Globes, où Brideshead Revisited fut le vainqueur du prix de la meilleure série télévisée en 1983.
Emma Thompson n'est pas du genre à plaisanter avec les histoires de poids. L'actrice britannique a menacé de quitter le tournage de Brideshead Revisited lorsqu'elle a appris que les producteurs du film faisaient pression pour que Hayley Atwell perde quelques kilos avant le début du tournage. Emma Thompson a été outrée par ce comportement et a donc mis sa participation au film en question si Hayley Atwell n'était pas autorisée à conserver son tour de taille !