Ce film est une prise de position du réalisateur contre la peine de mort avec le personnage d'un ancien voyou poussé à commettre l'irréparable par un policier qui ne croit pas à la rédemption des truands. José Giovanni s'inspire une fois de plus de sa propre expérience, ayant été lui-même en prison et condamné à la peine de mort avant d'être gracié.
Ce film est le septième long métrage de José Giovanni.
Ce film est le dernier qui réunit Jean Gabin et Alain Delon, après Mélodie en sous-sol (1963) et Le Clan des Siciliens (1969).
Alain Delon est le producteur de Deux hommes dans la ville. Il s'était lancé dans cette activité dès les années soixante (L'Insoumis, 1964).
Deux jeunes comédiens promis à un bel avenir tiennent ici des rôles secondaires : Bernard Giraudeau et Gérard Depardieu, un an avant la révélation des Valseuses.