Le film s'inspire de l'histoire vraie de voisines ennemies et des lettres ordurières qui agitèrent l’Angleterre des années 1920. Quand l'auteur et comique Jonny Sweet découvre cette affaire, il comprend qu'il tient là la matière de son premier scénario : "Je me souviens de la montée d’adrénaline que j’ai éprouvée car je recherchais justement une histoire qui soit à la fois originale et drôle mais avec une véritable signification. Je pense que du fait de l’époque et des opinions absurdes en cours à ce moment-là, on pouvait faire de l’humour tout en posant des questions, de manière inattendue et même dramatique. Ce mélange de tons me paraissait tout à fait alléchant".
Le producteur Graham Broadbent ajoute : "Si quelqu’un débarquait avec l’histoire de deux femmes qui sont voisines et amies, puis s’opposent autour de lettres vénéneuses qui déchirent leur petite communauté, on pourrait trouver cela peu convaincant. Savoir que c’est véridique permet de plonger dans cette histoire, jusque dans ses côtés extrêmes, et d’enquêter sur ce qui s’est vraiment passé. Il y a un ancrage réel, une authenticité, qui permettent de se passionner pour le film".
Olivia Colman et Jessie Buckley avaient déjà partagé l'affiche d'un film (The Lost Daughter) mais c'est la première fois qu'elles se donnent la réplique grâce à Scandaleusement vôtre. En effet, les deux actrices incarnaient le même personnage à deux âges différents dans le drame de Maggie Gyllenhaal et donc ne se croisaient jamais. C'est Olivia Colman qui a envoyé le scénario à Jessie Buckley : "Je voulais travailler avec elle, et que nous partagions des scènes. Je savais qu’on s’amuserait bien. Et j’ai réalisé que personne d’autre ne serait aussi efficace dans les jurons que Jessie".
Le personnage de Gladys Moss a réellement existé. Elle était la première inspectrice de police de l’histoire du Sussex. Pour son interprète, Anjana Vasan, jouer ce personnage représentait un vrai enjeu : "Au début de l’histoire de la police, l’idée d’une femme inspectrice paraissait très radicale en Angleterre, et plus encore dans le Sussex, à Littlehampton. Elle est la seule femme de ce poste de police et toute son expérience est nouvelle, inhabituelle. Une femme qui rejoint la police, c’est nouveau, une femme éduquée, impliquée dans ce monde, aussi. On perçoit d’emblée une tension liée au fait qu’une femme avec son physique soit là, entourée par ces hommes qui l’imagineraient plutôt servir le thé".
Scandaleusement vôtre a été tourné dans le Sussex, à Arundel et à Worthing. Cette dernière petite ville est proche de Littlehampton mais a beaucoup changé en cent ans. Le directeur artistique Romain Hémeray a trouvé dans de nombreux livres l’inspiration visuelle de la représentation de Littlehampton dans les années 1920.
Quant aux costumes, la costumière Charlotte Walter a fait de longues recherches pour proposer une vision exacte de la mode dans cette région, et à cette époque. Elle s'est notamment inspirée de sa famille et des albums photos de ses grands-parents, nés en 1900. Pour les uniformes de police, elle s'est basée sur des photographies d'époque, dont celles de la vraie Gladys Moss : "À Littlehampton, à la différence du reste du pays, les policiers portaient des casquettes et non des casques. Pour une raison ou pour une autre, le responsable de la police dans ce comté avait décidé que c’était mieux ainsi".