L'idée originale du scénario est inspirée d'un souvenir du cinéaste. Vingt-cinq ans plus tôt, Claude Sautet, assis dans un café, voit un vieux monsieur faire un chèque à une jeune fille qui n'est manifestement pas une parente. La scène le marque beaucoup et le film s'appelle tout d'abord : " La jeune femme et le vieux monsieur ".
Le film est très bien accueilli par la critique. Il reçoit le prix Georges Méliès, le prix Louis Delluc et le prix Lumière du meilleur acteur pour Michel Serrault. Nelly et Monsieur Arnaud est nominé onze fois aux Césars et obtient le prix du Meilleur acteur et du Meilleur réalisateur.
Durant la prise de vue de la scène où Monsieur Arnaud s'en va, Emmanuelle Béart s'aperçoit que Michel Serrault oublie son sac à un mètre derrière elle et qu'il ne peut pas aller le chercher, c'est alors qu'elle improvise : "Vous oubliez votre sac ! ". Pour Sautet, cette réplique inattendue accentue l'impression de fuite du personnage.
Pour le rôle de Monsieur Arnaud, on prévoit de réaliser un costume sur mesure à Michel Serrault. Cependant après plusieurs essayages, l'acteur explique qu'il est beaucoup trop serré et qu'au moindre geste toutes les coutures vont lâcher. Finalement il jouera avec ses propres vêtements.
Alain Sarde, déçu de ne avoir été de la partie pour Un Coeur en hiver, insiste pour produire le film. Claude Sautet écrit son récit en pensant à Emmanuelle Béart et ne veut pas de vedette masculine. Son producteur lui propose néanmoins Serrault : le cinéaste se met à hurler et il faut plusieurs mois pour réussir à le convaincre. C'est seulement plus tard que l'on remarque l'étrange ressemblance entre Michel Serrault dans le rôle de Monsieur Arnaud et Sautet. L'acteur dit l'avoir beaucoup regardé et écouté, et que c'est sans doute par mimétisme qu'il a maigri. Le comédien également avoue avoir pleuré deux ou trois fois durant le tournage, dépassé par l'intensité de certaines scènes.
Nelly et Monsieur Arnaud est le dernier film de Claude Sautet. D'après ses proches, le succès public du film l'apaise et lui apporte un joie immense. Il a l'impression de piétiner dans son travail et ne voit plus l'intérêt de refaire ce qu'il a déjà fait. Il meurt le 22 juillet 2000.