A l'instar des Pirates du métro, Serpico fut tourné à New York. Une ville à l'époque déclarée en situation de quasi banqueroute par son Maire. Les caisses municipales sonnaient tellement creux que la ville n'avait même plus les moyens de payer ses éboueurs. Alors que les ordures s'entassaient de plus en plus, surtout dans les quartiers pauvres comme Harlem, et que ces derniers faisaient grève, les Black Panthers allèrent jusqu'à menacer de mort le Maire si les ordures n'étaient pas ramassées. C'est à ce moment là que la municipalité eut l'idée de faire venir les Majors afin qu'elles tournent leurs films dans la ville. En échange de contributions financières, la municipalité mettait alors à disposition tous les moyens nécessaires, y compris la participation des forces de polices ou l'ouvertures de lieux normalement interdit d'accès.
Dans un classement intitulé "100 ans...100 héros et vilains" réalisé par le prestigieux AFI (American Film Institute), Serpico est à la 40e place. Il est également classé 84e sur 100 au palmarès des films les plus appréciés des Américains, toujours réalisé par l'AFI.
Scénariste de Serpico, Waldo Salt écrivit celui du film d'aventures Taras Bulba en 1962, dans lequel Yul Brynner tient la vedette; mais aussi celui du classique Macadam cowboy, seul film classé X aux Etats-Unis à avoir remporté 3 Oscars dont celui du Meilleur scénario adapté. Quant à Norman Wexler, l'autre scénariste du film, on lui doit celui de la Fievre du samedi soir en 1977, et de sa suite réalisée par Sylvester Stallone.
Frank Serpico, dont la vie est retracée dans le film, souhaitait être présent sur le tournage. Une autorisation lui fut donnée, mais Sidney Lumet le pria de rapidement quitter le tournage, car il craignait que sa présence ne perturbe le travail des acteurs, en particulier Al Pacino qui prête ses traits à l'inspecteur incorruptible.
Au fur et à mesure que le film se déroule, la coupe de cheveux et la barbe d'Al Pacino poussent. Un choix initialement prévu dans le script de départ, afin de souligner la métamorphose du personnage principal. Pour rendre cela possible, Sidney Lumet choisit de ne pas tourner le film dans l'ordre chronologique.
A l'origine, ce devait être John G. Avildsen qui devait réaliser le film. Mais en raison de désaccords avec le producteur Martin Bergmann, la direction du film fut finalement confiée à Sidney Lumet, tandis que John G. Avildsen devint assistant réalisateur. Lumet pris sa place juste avant le début du tournage.
Le réalisateur Sidney Lumet et Al Pacino ont travaillé à deux reprises ensemble : sur les films Serpico en 1973 et Un après-midi de chien en 1975. Huit ans plus tard, ils auraient pu à nouveau collaborer sur Scarface, mais Sidney Lumet fut remplacé derrière la caméra par Brian De Palma.