Pas si grave est le premier scénario original de Bernard Rapp. Tiré à part (1996) et Une affaire de goût (1999) avaient respectivement été adaptés des romans de Jean-Jacques Fiechter et Philippe Balland .
"J'aimais bien l'idée que les trois héros de mon histoire pensent régler une dette envers leur père adoptif mais qu'en réalité, ce soit lui qui leur fasse un cadeau. Ce vieil Espagnol qui n'a pas remis les pieds dans son pays depuis la fin de la guerre civile, semble les envoyer vers son passé, mais en réalité c'est vers leur propre avenir qu'il les projette. (...) Pendant ce voyage, chacun va trouver son identité, sa place. En partant dans un monde qu'ils ne connaissent pas, ils vont se découvrir avec leurs failles, leurs ambiguïtés et aussi leur force."
"J'ai eu une Volvo de cette couleur il y a bien longtemps. Cette voiture c'est le vecteur du voyage, elle conduit les garçons vers leur destin, c'est leur mule. On l'a donc peinte de cette couleur particulière, éclatante, qui répond d'ailleurs au jaune du générique. Je voulais qu'elle soit un personnage à part entière comme dans les comédies américaines."
Pas si grave est le second film que Sami Bouajila et Jean-Michel Portal tournent ensemble après Nos vies heureuses en 1999.
Pour son personnage trompettiste, Romain Duris a pris des cours pendant un mois et demi avec Bernard Vittet, un musicien que lui avait conseillé Bernard Rapp.