Diplômé de l'Evanston Township High School, Jeremy Piven étudie le théâtre à l'Harand Theater Camp d'Elkhart Lake, où il interprète Bernardo dans la pièce "West side story". Il apprend également le métier de comédien au Piven Theatre Workshop, fondé par ses parents Byrne et Joyce Piven.
Sa carrière d'acteur au cinéma débute en 1986 : Jeremy Piven apparaît dans les comédies pour adolescents Lucas de David Seltzer et One crazy summer de Savage Steve Holland. Dès lors, il joue des rôles de plus ou moins grande importance dans de nombreux films parmi lesquels : The Player (1992) de Robert Altman, Singles (id.) de Cameron Crowe, Bob Roberts (id.) de Tim Robbins, Heat (id.) de Michael Mann, Le Collectionneur (1997) de Gary Fleder, Very bad things (id.) de Peter Berg, Family man (2000) et Rush hour 2 (2001) de Brett Ratner, ou encore La Chute du faucon noir (id.) de Ridley Scott.
Jeremy Piven donne la réplique à celui qui fut son colocataire pendant quelques années, John Cusack. Ces derniers ont ainsi été partenaires dans Say anything... (1989) de Cameron Crowe, Les Arnaqueurs (1990) de Stephen Frears et Un amour à New York (2001) de Peter Chelsom.
L'acteur américain est aussi à l'aise dans des films de caractère comme Highway (2002), Le Maître du jeu (2003), Two for the Money (2005), que dans des films à prendre au second degré : la comédie old school Retour à la fac (2003), la parodie Scary Movie 3 (2003) ou encore l'explosif Mi$e à prix (2006). Tous ces longs-métrages lui permettent de côtoyer plusieurs comédiens très connus.
De 2004 à 2011, il obtient un rôle principal dans la série Entourage où il est Ari Gold, agent extravagant et dévoué de l'acteur Vince Chase (Adrian Grenier), ce qui ne l'empêche pas de jouer dans les longs-métrages Le Royaume (2007), RockNRolla (2008) et Mademoiselle Détective (2012). En 2014, il campe le colonel Walter Marx aux côtés de Tom Cruise dans l'apocalyptique Edge Of Tomorrow.