Je n'aime que toi devait d'abord être un roman avant de devenir un film. Claude Fournier se souvient : "Marie-José Raymond, ma productrice, m'a suivi dans cette folie et ce que j'avais imaginé comme un livre est devenu un long métrage, sans doute le plus personnel que j'ai fait jusqu'à présent (...) Tout au long de l'écriture, j'ai été porté par mes deux personnages principaux : Georges Guérin, l'écrivain, et Daisy, la putain. M'étant réservé ce sujet pour un roman, j'avais déjà exploré ces personnages, je connaissais bien leurs antécédents, leur psychologie, la singularité que je souhaitais pour chacun d'eux."
Claude Fournier a été l'un des artisans du mouvement du "cinéma vérité" à la fin des années cinquante, d'abord à l'Office National du film du Canada et ensuite pour Time Life à New York, pendant deux ans. En plus d'écrire ses longs métrages, il travaille à la création de séries télévisées comme Ces enfants d'ailleurs (1997) et Juliette Pomerleau (1999).
Parallèlement à son métier de cinéaste, Claude Fournier écrit des livres, dont deux recueils de poésies - Les Armes à faim (1955), Le Ciel fermé (1956) -, un roman (Les Tisserands du pouvoir (1988)) et un essai intitulé René Lévesque : portrait d'un homme seul (1993).
Michel Forget n'en est pas à sa première collaboration avec Claude Fournier, puisqu'il a déjà joué sous sa direction dans les téléfilms Un ordinateur de coeur et Félix Leclerc et dans la série Les Tisserands du pouvoir.