Avec le personnage de l'inspecteur Harry, flic quelque peu raciste aux méthodes expéditives, Clint Eastwood passa auprès du grand public pour un acteur aux idées réactionnaires et prônant l'auto-défense. Ce dernier tenta de se débarrasser de cette fausse image en reprenant dans Magnum force le rôle du célèbre inspecteur, celui-ci traquant cette fois-ci une bande de policiers se faisant justice eux-mêmes. Clint Eastwood se détacha par la suite de son personnage fétiche en le parodiant dans La Relève.
L'Inspecteur Harry initie une saga qui comprendra quatre autres épisodes, tous interprétés par Clint Eastwood : Magnum force (1973) de Ted Post, L' Inspecteur ne renonce jamais de James Fargo, Le Retour de l'inspecteur Harry (1983) de Clint Eastwood et La Dernière cible de Buddy van Horn.
Le scénario de L'Inspecteur Harry est passé de main en main : d'abord proposé à Paul Newman, il a ensuite été acheté par Frank Sinatra via sa société Bristol Productions. Malheureusement, le célèbre crooner, devant subir une intervention chirurgicale, renonça au projet qui s'intitulait alors "Dead right" et que devait réaliser Irvin Kershner. Finalement, le scénario aboutit dans les mains de Clint Eastwood qui demanda à Don Siegel de le porter à l'écran.
L'intrigue de L'Inspecteur Harry s'inspire de la célèbre affaire non résolue du Zodiac, dans laquelle un tueur embusqué tirait sur des habitants de San Francisco et avait pour habitude d'induire en erreur la police et les médias par rapport à ses crimes. Le rôle de Harry Callahan est quant à lui basé sur le vrai inspecteur de police qui supervisait l'enquête sur ce tueur en série, David Toschi.
L'Inspecteur Harry marque les retrouvailles de Clint Eastwood avec le réalisateur Don Siegel. Tous deux avaient auparavant collaboré sur Un shérif à New York (1968), Sierra Torride (1969) et Les Proies (1971). Ils travailleront à nouveau ensemble sur L'Evadé d'Alcatraz.
Don Siegel effectue un caméo dans le film. Il apparaît en homme qui court dans la rue.
La scène finale dans laquelle l'inspecteur Harry jette son insigne dans la rivière s'inspire d'une séquence similaire du Train sifflera trois fois (1952).
Lorsque Don Siegel tomba malade durant le tournage, victime d'une grippe, Clint Eastwood prit le relai et dirigea la scène où il empêche un homme de se suicider.
Clint Eastwood assura lui-même ses cascades, la plus dangereuse étant celle où il saute d'un pont pour atterrir sur le toit d'un bus scolaire où sont retenus en otage plusieurs écoliers.
L'acteur noir Albert Popwell est un fidèle de la saga Inspecteur Harry. Gangster blessé dans le premier volet, il incarnera tour à tour un proxénète dans Magnum force, Ed Mustapha dans L' Inspecteur ne renonce jamais, et un collègue de travail chargé de surveiller Clint Eastwood dans Le Retour de l'inspecteur Harry.
Audie Murphy fut d'abord pressenti pour jouer le rôle du tueur Scorpio. Malheureusement, l'acteur décéda en 1971 dans un accident d'avion.
C'est la troisième fois que Clint Eastwood collabore avec le scénariste Dean Riesner. Les deux hommes avaient auparavant travaillé ensemble sur Sierra Torride (1969) et Un frisson dans la nuit (1971).
Andrew Robinson, alias Scorpio dans le film, est dans la vraie vie un pacifiste engagé. Terrifié par les armes à feu, il dut se soumettre à un entraînement au tir.
Andrew Robinson interpréta si bien le personnage de Scorpio, à une époque où le grand public n'était pas encore familiarisé avec les tueurs en série, que ce rôle lui colla à la peau et lui ferma de nombreuses portes. L'acteur préféra se consacrer au théâtre et à la télévision, se limitant à quelques apparitions au cinéma, dans Cobra, Hellraiser / le pacte ou Randonnée pour un tueur notamment.
L'action du film était censée se dérouler à Seattle, mais Clint Eastwood et Don Siegel optèrent finalement pour la ville de San Francisco comme lieu principal de tournage.
John Milius, futur scénariste d'Apocalypse now et réalisateur de Conan le barbare, participa à l'écriture du scénario de L'Inspecteur Harry. On lui doit notamment la célèbre réplique que Clint Eastwood dit à un gangster noir se trouvant à terre : "Je sais ce que tu penses. A-t-il tiré six balles ou seulement cinq ? Eh bien, pour t'avouer la vérité, je ne m'en souviens pas moi-même. Mais comme le Magnum 44 est l'arme de poing la plus puissante au monde capable de te faire sauter la tête, tu dois te dire à toi-même : est-ce mon jour de chance ? Alors, oui, voyou ?". En échange de ce petit texte, le scénariste aurait gagné un shotgun Purdy pour sa collection d'armes personnelle.
Lalo Schifrin a composé le thème musical de L'Inspecteur Harry. On lui doit notamment ceux d'Un shérif à New York de Don Siegel, de Bullitt ou encore de la série télévisée policière Starsky et Hutch.
L'Inspecteur Harry marque la première collaboration entre Don Siegel et le directeur de la photographie Burr Steers. Tous deux travailleront par la suite sur Les Proies (1971) et L'Evadé d'Alcatraz (1979).