Je t'aime, moi non plus est le premier film écrit et réalisé par Serge Gainsbourg. Suivront Equateur en 1983, Charlotte for ever en 1986 et Stan the Flasher en 1990.
Réalisateur du film mais aussi compositeur, Serge Gainsbourg a commencé à écrire des musiques pour le cinéma en 1960 pour L' Eau à la bouche. Outre les autres films qu'il réalisa (Equateur, Charlotte for ever et Stan the Flasher), il composa pour Le Pacha (1967), Vous n'aurez pas l'Alsace et la Lorraine (1977), Les Bronzés (1978) ou encore Tenue de soirée (1986).
Le côté scandaleux et sulfureux du film le fit échapper de peu au classement X en France. Il sortit seulement en 1984 en Belgique mais jamais aux Etats-Unis, et fut projeté en Grande-Bretagne uniquement dans un cinéma gay londonien.
La voix française de Joe Dallesandro est celle de Francis Huster.