La Vache et le prisonnier est adapté du roman de Jacques Antoine, Histoire vraie.
Henri Verneuil n'était pas le seul sur les rangs pour réaliser La Vache et le prisonnier. Claude Autant-Lara était également intéressé par ce projet et comptait en confier le rôle principal à Bourvil.
Avant d'être réunis pour La Vache et le prisonnier, Henri Verneuil avait déjà dirigé Fernandel dans Le Boulanger de Valorgue (1952), Le Fruit défendu (id.), La Table aux crevés (id.), Carnaval (1953), L'Ennemi public N°1 (1954), Le Mouton à cinq pattes (id.) et Le Grand chef (1959).
Le tournage se déroula en Allemagne du 8 juin au 15 août 1959. Fernandel et la vache parcoururent réellement les 200 kilomètres, de Munich à Stuttgart.
A l'initiative de Henri Verneuil, Marguerite la vache eut droit à sa propre doublure. Pour choisir l'animal, le cinéaste dut en auditionner 600. Afin d'éviter qu'elle ne termine ses jours dans un abattoir, il s'était arrangé avec un fermier normand pour qu'il la garde.
La Vache et le prisonnier totalisa lors de sa sortie en salles 8 849 752 entrées. Il s'agit du premier gros succès commercial d'Henri Verneuil.
Le 23 septembre 1990, TF1 diffusa La Vache et le prisonnier en première partie de soirée et en version colorisée. Il y eut un nombre tel de téléspectateurs que le film se classa immédiatement parmi les 100 meilleures audiences télé.
Dix ans plus tard, Fernandel donna à nouveau la réplique à un animal : il s'agissait d'un cheval pour les besoins de Heureux qui comme Ulysse.