Philippe Guillard a pensé à Papi-Sitter au moment du tournage du Fils à Jo, en 2010, lorsqu'il habitait avec Gérard Lanvin et Olivier Marchal dans la même maison. Les trois hommes menaient une vie de bohème lorsque le père du cinéaste, qui est un ancien capitaine de gendarmerie ayant vécu dans une caserne tout le temps de sa carrière, s'est joint à eux... "C’est un homme bourré de valeurs, mais aussi de principes plutôt psychorigides, surtout sur des détails bien précis, le couteau à droite, la fourchette à gauche, les couteaux avec la pointe en bas dans le lave-vaisselle et les lits au carré, et la poussière entre les ailes du radiateur. L’avantage de cette rigidité de comportement est qu’aux yeux de ceux qui ne sont pas comme lui, il en devient comique", se rappelle Philippe Guillard.
Au cours d’un déjeuner informel, après la sortie du film de potes de Philippe Guillard On voulait tout casser, Gérard Lavin a dit au metteur en scène qu'il avait envie de jouer à nouveau avec Olivier Marchal. Philippe Guillard explique : "Et moi, de l’autre côté, je venais de voir Dirty Papy de Dan Mazer avec Robert De Niro, du coup je me suis dit, mais bien sûr, intégrons un deuxième grand-père, complètement opposé, et ce sera plus original... Le titre, Papi-Sitter, s’est imposé. Je me suis remis à écrire."
Au départ, le cœur du film était donc le tandem d’un grand père avec sa petite-fille. Philippe Guillard a ensuite ajouté le personnage extraverti de Teddy joué par Olivier Marchal : "Le duo initial s’est transformé en trio. Un trio forcément désassorti lui aussi puisqu’aucun des trois n’a de point commun avec les deux autres. Dans ce nouveau scénario, chamailleries, engueulades, claquement de portes, mensonges éhontés, réconciliations... tout s’est démultiplié", se souvient le réalisateur.
Papi-Sitter se déroule et a été tourné dans les Landes. Un endroit que l'ex-rugbyman Philippe Guillard connaît bien puisqu'il a souvent affronté les équipes de ce département lorsqu'il jouait au Racing Club de France. "Du coup, je n’y ai que des amis... J’aime sa beauté et sa convivialité. Je m’y sens comme chez moi. Le Sud-Ouest est ma résidence secondaire affective. C’est là que j’étais allé tourner Le Fils à Jo avec Gérard et Olivier. Notre trio avait été magnifiquement accueilli, avec respect, amitié et plaisir. J’ai eu envie d’y revenir."
Philippe Guillard, Gérard Lanvin et Olivier Marchal se connaissent depuis longtemps : le second avait donné le premier rôle au premier dans Les Lyonnais (2011), et ils ont joué ensemble dans Le Fils à Jo (id.). Dans Bronx, prochain film de gangsters de Marchal, Lanvin incarnera l'un des personnages principaux.
Camille Aguilar interprète Camille, l'un des trois personnages principaux. Elle se rappelle comment elle est arrivée sur le projet : "Un jour, une amie régisseur avec qui j’avais travaillé pour une série télé m’a téléphoné pour me suggérer de me rendre à un casting qui pouvait m’intéresser. Je ne savais à peu près rien du film, sauf qu’il mettait en scène deux grands-pères et leur petite-fille qui s’apprêtait à passer son bac. J’y suis allée. Les scènes à passer étaient très longues, mais elles permettaient de cerner le caractère de la jeune fille, et de saisir l’esprit du film. Quelque temps après, j’ai été rappelée pour passer le second tour. Cette fois Philippe Guillard était là. Il a pris le temps de discuter une heure avec moi et m’a donné plein d’autres informations sur Camille. Ses indications m’ont été précieuses et... j’ai obtenu le rôle."
Le sport est un élément récurrent dans les films de Philippe Guillard. Dans Le Fils à Jo, c’était le rugby, dans On voulait tout casser, la voile et pour Papi-Sitter, le surf. Le réalisateur confie : "Le sport a toujours fait partie intégrante de ma vie. Il est l’un des combustibles essentiels de mes films. J’aime les valeurs qu’il véhicule. Pour Papi-Sitter, Gérard et Olivier ayant passé l’âge des compétitions, j’ai inventé à Camille un amoureux sportif. Dans une des toutes premières moutures du film, il était boxeur. C’est un sport très photogénique mais qu’on pratique sur un ring donc dans un endroit clos. Papi-Sitter se déroulant déjà en grande partie dans une maison, j’ai pris conscience que cela allait impliquer beaucoup de séquences « intérieur ». Or je voulais que ce film « respire » les grands espaces et l’aventure. J’étais dans les Landes au bord d’une mer où on pratique beaucoup le surf... L’amoureux de Camille est passé de boxeur à surfeur."