Ayant autrefois vécu des amours ombrageuses, Bernard et Mathilde, par le plus pur des hasards, se trouvent être voisins. Même s'ils sont tous les deux mariés, leurs destins se croisent à nouveau.
Dans le port anglais de Lyme, Charles Smithson, rentier et collectionneur de fossiles marins, fait la connaissance de Sarah Woodruff, une jeune préceptrice solitaire et mélancolique. Cette rencontre va faire renaître à la vie celle qui fut jadis abandonnée par un lieutenant francais.