Jerry O'Connell grandit à Manhattan avec son frère Charlie, et rêve dès son plus jeune âge de devenir acteur. Après quelques publicités, il obtient son premier rôle au cinéma en 1986 dans Stand by me de Rob Reiner. Sa prestation remarquée lui ouvre rapidement de nouvelles portes. En 1988, il devient le héros de la série Mon plus beau secret, où il cache des pouvoirs surnaturels pendant 3 saisons. Après un rôle dans Charles s'en charge, puis la courte série comique Camp Wilder (1992), il accède à la notoriété en 1995 lorsqu'il se perd dans les mondes parallèles de Sliders. Suite à une expérience ratée, Quinn Mallory est condamné à "glisser" de dimensions en dimensions avec ses compagnons d'infortune. Jerry O'Connell quitte la série à l'issue de sa 4ème et avant-dernière saison.

Parallèlement, il mène une riche carrière sur grand écran. Après Calendar girl (1993), il s'allie avec des cafards pour empêcher un sénateur de raser leur habitat dans la comédie fantastique Joe's Apartment (1996). Il joue la même année dans Jerry Maguire, avec Tom Cruise dans le rôle titre, puis passe à l'horreur dans Scream 2 (1997), séduit par le scénario tragique de Kevin Williamson. En 2000, O'Connell est envoyé avec Gary Sinise et Tim Robbins en mission de sauvetage sur la planète rouge dans Mission to Mars. Il enchaîne ensuite des comédies comme Tomcats (2001), Kangourou Jack (2003) et Fat Slags (2004). En 2005, il apparaît aux côtés de Dennis Quaid et Rene Russo dans Une famille 2 en 1.

Il retrouve le succès à la télévision à partir de 2002 en rejoignant la police de Boston dans la série Preuve à l'appui. Il interprète l'inspecteur Woody Hoyt, qui aide régulièrement le Dr. Jordan Cavannaugh (Jill Hennessy) dans ses enquêtes. Il participe également à un épisode de FBI : portés disparus (2004), et prête sa voix à un personnage de La Ligue des justiciers (2005).