Avec le petit baigneur, Louis De Funès retrouve son metteur en scène de La Belle Américaine (1961), Robert Dhery. Les deux hommes avaient travaillé ensemble sur Ah ! les belles bacchantes (1954).
Pour les besoins du Petit baigneur, Robert Dhery a fait appel à une partie de la troupe des Branquignols. On retrouve ainsi dans le casting du film, sa femme Colette Brosset ou Jacques Legras. Jean Carmet a collaboré au scénario.
Le tournage du Petit baigneur était par moment très joyeux au point qu'il n'est pas rare que les comédiens aient des fous rires. Robert Dhery, le réalisateur a même dû garder une prise dans laquelle Louis De Funès ne pouvait garder son sérieux en essayant de l'endormir en chantant derrière un paravent.
Au début du tournage, Louis De Funès n'était pas satisfait des choix de mise en scène de Robert Dhery. Le cinéaste dut revoir ses options de mise en scène pour offrir plus de gros plans à son acteur principal.
Toutes les scènes d'églises ont été tournées dans une véritable église en ruine à côté de Pezenas. La location pour le tournage permit au curé de reconstruire et de réouvrir le batiment.
On retrouve au casting du Petit baigneur, Louis De Funès et Michel Galabru, deux acteurs qui ont eu l'occasion de collaborer pendant leur carrière sur de très nombreux films de la Belle Américaine à la série des gendarmes en passant par Le Corniaud.
Pour des raisons fiscales, le producteur Robert Dorfmann devait avoir dépensé le budget du film avant 1968. L'équipe du Petit baigneur a donc dû tourner en urgence toutes les scènes à l'automne et l'hiver 1967 à Collioure dans les Pyrénées orientales et à Anzio en Italie.