Abandonné par son père, Jack Nicholson fut élevé par sa grand-mère dans le New Jersey. A 17 ans, il part pour Los Angeles et travaille comme employé de bureau à la Metro-Goldwyn-Mayer (MGM). Il fait ses débuts au cinéma en délinquant juvénile dans The Cry Baby Killer, un thriller produit par Roger Corman. Tout au long des années 60, il enchaînera avec le réalisateur-producteur culte une vingtaine de films de série B allant de l'horreur (La Petite Boutique des horreurs) au western (The Shooting).
En 1968, il commence sa collaboration avec Bob Rafelson avec qui il écrit et produit Head, une comédie délirante avec le groupe pop The Monkeys. Il collaboreront ensemble six fois, notamment pour Cinq pièces faciles qui vaut à Nicholson sa première nomination à l'Oscar du meilleur acteur. Mais, c'est l'année suivante qu'il acquiert son statut de star avec son rôle d'avocat halluciné dans Easy Rider.
Au cours des années 70, Jack Nicholson rentre dans la liste des acteurs qui comptent à Hollywood en interprètant des personnages complexes et souvent extravagants. Son rôle de détective privé dans le film noir de Roman Polanski, Chinatown lui vaut sa troisième nomination à l'Oscar du meilleur acteur. Mais c'est un an plus tard avec son interprétation de malade mental dans Vol au-dessus d'un nid de coucou de Milos Forman qu'il remporte sa première statuette. La même année, il tourne en Europe avec Michelangelo Antonioni dans Profession : reporter, sa seule expérience hors des Etats-Unis.
En 1980, il impressionne dans Shining de Stanley Kubrick, avec un rôle culte d'écrivain psychotique. Il aborde alors une décennie faite d'énormes succès critiques à l'image du drame épique Reds, et le drame familial Tendres Passions (Oscar du meilleur acteur dans un second rôle) avec Shirley McLaine.
En 1990, devenu une icône, il interprète le Joker dans Batman, un rôle qui lui permet de mettre à profit son célèbre jeu de sourcils. Avec un pourcentage sur les produits dérivés, le film lui rapporte 60 millions de dollars ! Il peut alors réaliser un film qui lui tient à coeur, la suite de Chinatown, Two Jakes, dans lequel il reprend son rôle de privé. Le film est toutefois un échec commercial et critique. Il rebondit pourtant avec son rôle très remarqué de colonel hautain dans Des hommes d'honneur, éclipsant les stars Tom Cruise et Demi Moore.
Au cours des années 90, il devient de plus en plus rare mais ses prestations sont toujours autant remarquées, notamment en père desespéré dans Crossing Guard et en président déjanté dans Mars Attacks!. Mais, c'est la comédie romantique de James L. Brooks, Pour le pire et pour le meilleur, dans laquelle il interprète un romancier maniaque transformé par l'amour d'une femme, qui le fait revenir sur le devant de la scène, lui rapportant son deuxième Oscar du meilleur acteur.
En 2002, après son rôle remarqué de policier viellissant dans The Pledge de Sean Penn, 11 nominations aux Oscars (dont 3 remportés) et une carrière sans véritable creux, il joue dans les comédies dramatiques, About Schmidt et Self control aux côtés d'Adam Sandler. En 2006, il tourne au côté de Leonardo DiCaprio dans Les Infiltrés de Martin Scorsese et livre pour l'occasion une performance mémorable en terrifiant chef mafieux.
Se faisant naturellement plus rare sur les écrans, Jack Nicholson rejoint Morgan Freeman dans Sans plus attendre de Rob Reiner où ils campent deux personnages ayant soif de vivre malgré leurs 70 ans, puis prend part à la comédie romantique Comment savoir en jouant le père de Paul Rudd.