Germain Cazeneuve, ancien policier reconverti en éducateur social pour délinquants, se porte garant de Gino Strabliggi, ancien braqueur de banque condamné à douze années de prison, libéré avec deux ans d'avance grâce à son soutien. Gino retrouve sa femme Sophie, qui l'a attendu fidèlement, reprend goût à la vie et tisse des liens amicaux profonds avec Germain, presque paternels. Mais l'inspecteur Goitreau, le policier qui l'avait autrefois arrêté et envoyé en prison, s'installe dans la même ville et entreprend de rendre sa réinsertion impossible, le harcelant sans relâche. Poussé à bout par cette persécution acharnée, Gino commet l'irréparable, se retrouvant confronté à un système judiciaire implacable qui va décider de son destin.
Deux hommes dans la ville est le septième long métrage de José Giovanni, cinéaste et romancier dont l'œuvre puise directement dans son propre passé de condamné à mort gracié après avoir purgé onze années de prison. Le réalisateur voit dans ce projet l'occasion de signer un plaidoyer frontal contre la peine de mort, encore appliquée en France à l'époque du tournage, ainsi que contre les conditions carcérales et les obstacles à la réinsertion des anciens détenus. Giovanni envisage d'abord Lino Ventura pour le rôle de l'éducateur social, mais l'acteur refuse, jugeant le personnage du policier trop manichéen et peu crédible ; Yves Montand décline également la proposition, avant que le rôle ne revienne finalement à Jean Gabin, alors presque septuagénaire et songeant à se retirer du cinéma. Le film transpose en réalité, sous une forme contemporaine, la trame des Misérables de Victor Hugo, Gino Strabliggi incarnant un nouveau Jean Valjean tandis que l'inspecteur Goitreau, interprété par Michel Bouquet, en constitue le Javert impitoyable.
Deux hommes dans la ville a été salué par la critique comme un grand polar social porté par une interprétation exceptionnelle de Jean Gabin et d'Alain Delon, la presse soulignant la composition particulièrement crédible et touchante livrée par Delon, loin de son registre habituel de personnage solitaire et cynique. Plusieurs critiques ont également mis en avant la performance de Michel Bouquet, dont l'interprétation glaçante de l'inspecteur Goitreau a marqué les esprits. Le public a réservé un accueil très favorable au film, qui totalise plus de 2,4 millions d'entrées en France, se classant à la treizième place du box-office annuel 1973 et permettant à Jean Gabin de connaître un dernier grand succès commercial après plusieurs déceptions consécutives. Le film a également permis à Alain Delon d'obtenir son meilleur score de l'année 1973 parmi les cinq films où il était à l'affiche.
Pour incarner un jeune truand devant humilier le personnage de Delon en une seule scène capitale, José Giovanni fait appel à Gérard Depardieu, alors âgé de vingt-quatre ans et pas encore révélé par Les Valseuses, dont le tournage débutera seulement quelques mois après celui de Deux hommes dans la ville. Une certaine tension s'installe sur le plateau entre Alain Delon et José Giovanni, l'acteur n'ayant jamais tourné sous la direction du réalisateur bien que ce dernier ait déjà écrit les scénarios de deux de ses précédents films. Le tournage débute le 28 mai 1973 à Montpellier, et Delon impose que les dialogues du scénario soient repris par Daniel Boulanger, fidèle scénariste de Philippe de Broca, ce qui provoque une entente houleuse entre Giovanni et Boulanger tout au long de la production.
Deux hommes dans la ville constitue un plaidoyer explicite contre la peine de mort, encore en vigueur en France au moment du tournage, et contre l'acharnement judiciaire qui peut pousser un homme réformé vers l'irréparable. Le film questionne également les obstacles systémiques à la réinsertion des anciens détenus, incarnés par la persécution méthodique de l'inspecteur Goitreau envers un homme qui tente sincèrement de refaire sa vie. Il explore enfin la transmission et la filiation symbolique entre deux générations d'hommes que tout semblait opposer, l'éducateur Germain Cazeneuve en venant à considérer Gino comme le fils qu'il n'a jamais eu.
Poussé à bout par le harcèlement incessant de l'inspecteur Goitreau, Gino finit par le tuer dans un accès de rage, ce qui le conduit à un procès et à une condamnation à mort malgré les efforts de son avocate et de Germain Cazeneuve pour plaider sa réforme sincère ; le film s'achève sur l'exécution de Gino à la guillotine, une scène délibérément crue et dépouillée destinée à souligner l'horreur et l'inutilité de la peine capitale que le film dénonce frontalement.
Le titre Deux hommes dans la ville désigne Gino Strabliggi et Germain Cazeneuve, les deux personnages principaux du film, dont les destins entrelacés dans une même ville de province symbolisent à la fois l'espoir d'une rédemption possible et la fatalité d'un système qui finit par l'anéantir.
Deux hommes dans la ville demeure le dernier film ayant réuni à l'écran Jean Gabin et Alain Delon, après leurs précédentes collaborations dans Mélodie en sous-sol et Le Clan des Siciliens, et le film reste régulièrement cité comme une référence du cinéma engagé contre la peine de mort, abolie en France en 1981.
Les amateurs de Deux hommes dans la ville pourront se tourner vers Le Trou de Jacques Becker ou Classe tous risques de Claude Sautet, autres adaptations de romans de José Giovanni inspirés de sa propre expérience carcérale, ou vers le remake de 2014 signé Rachid Bouchareb avec Forest Whitaker et Harvey Keitel.