Georges Lautner réunit pour ce film trois proches collaborateurs avec qui il avait auparavant oeuvré dans Les Barbouzes et Les Tontons flingueurs : le scénariste et dialoguiste Michel Audiard, ainsi que les acteurs Lino Ventura pour la touche de virilité et Mireille Darc, synonyme de glamour à l'époque.
C'est le producteur Alain Poiré qui est à l'origine du titre du film. L'idée lui est venue en voyant des affichettes et autocollants collés aux pare-brise de voitures et sur lesquels était mentionné le slogan Gardez le sourire. Ce dernier imagina dans le même registre le titre Ne nous fâchons pas. En guise de clin d'oeil, Michel Audiard élabora une scène d'ouverture mettant en scène des automobilistes.
Malgré les succès passés, il n'était pas question pour Lino Ventura d'accepter les yeux fermés le rôle d'Antoine Beretto. Pointilleux sur le scénario, il exigeait que son personnage ne soit pas un salaud et qu'il n'ait à tourner aucune scène de baiser ou en tenue légère.
Lino Ventura tourna le film un peu contre son gré. Ce dernier s'était en fait heurté aux scénaristes qui avaient refusé de faire de son personnage un macho rigide à la John Wayne. L'acteur entra également en conflit avec Georges Lautner à propos de certaines scènes qui lui déplaisaient. Michel Audiard dut d'ailleurs descendre sur la Côte d'Azur, en plein tournage du film, pour remanier quelques séquences à la demande de Lino Ventura.
Quelques jours avant les prises de vue, Georges Lautner constata qu'il manquait un acteur à la mine patibulaire pour le rôle d'un malfrat. Michel Audiard pensa aussitôt à son ami André Pousse, ancien champion de vélo, qu'il retrouva dans un restaurant tenu par Moustache. C'est l'idée de partir sur la Côte d'Azur pour un séjour de rêve qui convainquit celui qui allait se convertir au métier d'acteur.
Pour la scène du pont, la production profita de la destruction, par le service du Génie, du vieux viaduc de Malvan, vestige de la ligne de chemin de fer Nice-Digne situé à proximité de Grasse.