John Carney débute sa carrière de réalisateur et de scénariste en étant l'auteur de deux courts métrages comiques : Shining star et Hotel. En 1996, il signe son premier long métrage, November afternoon. Pour cette petite production tournée en noir et blanc et présentée en avant-première au Festival de Cork, il se voit décerner par l'Irish Times le prix du meilleur film.
John Carney se montre également actif à la télévision. En 1998, l'Irish Times lui attribue le prix du meilleur téléfilm de l'année pour Just in time, qu'interprètent Frances Barber et Gerard McSorley.
En 1999, il écrit et met en scène Park, un film traitant d'un cas de pédophilie en Irlande. Il enchaîne en 2001 avec La Vie à la folie, un drame sur la rencontre dans un hôpital psychiatrique de deux adolescents dépressifs.