J.K. Simmons a attrapé le virus de la comédie pendant ses études, lorsqu'il a intégré le Seattle Repertory Theatre. Mais c'est d'abord sur les planches de Broadway que le comédien fait ses premières classes, en tant qu'acteur et chanteur. Et ce n'est qu'en 1993 qu'il bifurque, lorsqu'il apparaît, le temps d'un épisode, dans la série New York District, avant de jouer dans La Révélation.

Deux premières expériences qui reflètent bien le reste de sa filmographie, faite de films et de séries. C'est d'ailleurs sur le petit écran qu'il obtient son premier rôle marquant, celui du néo-nazi Vern Schillinger, personnage clé d'Oz, qu'il incarnera de la première à la sixième saison. Parallèlement à la série carcérale, J.K. Simmons réintègre le casting de New York District (avec un autre rôle), et se fend de quelques apparitions sur grand écran, du Le Club des ex à Celebrity de Woody Allen, en passant par Mesure d'urgence ou Le Chacal.

Mais c'est avec le début des années 2000 qu'arrive la reconnaissance, grâce à Sam Raimi, qui le dirige dans Pour l'amour du jeu et Intuitions, avant de lui offrir le rôle de J. Jonah Jameson, rédacteur en chef tyrannique et hilarant de Peter Parker dans la trilogie Spider-Man, qui lui permet de se faire un nom auprès du grand public. Sans pour autant délaisser la télévision, le comédien se fait alors de plus en plus présent sur grand écran, puisqu'on peut le voir, toujours en tant que second rôle, dans Hidalgo, Bad Times ou Thank You for Smoking de Jason Reitman, qui fera de nouveau appel à lui pour Juno.

En 2008, quatre ans après avoir découvert l'univers de Joel et Ethan Coen avec Ladykillers, J.K. Simmons retrouve les réalisateurs de Fargo à l'occasion de Burn After Reading, aux côtés de George Clooney, Brad Pitt et John Malkovich. Très prolifique, le comédien est à l'aise dans tous les registres. Il retrouve Clooney en 2010 dans Les Chèvres du Pentagone, comédie sur fond de guerre avec également Ewan McGregor. L'acteur ne quitte plus George Clooney et le croise à nouveau dans la comédie dramatique In The Air de Jason Reitman.

Après s'être illustré dans The Words avec Bradley Cooper et dans Contrebande aux côtés de Mark Wahlberg, le comédien brille dans Whiplash en 2014. Il y incarne Terence Fletcher, un professeur de musique tyrannique qui martyrise le personnage campé par la jeune révélation Miles Teller. Ce rôle lui permet de remporter l'Oscar du meilleur second rôle en 2015. Le comédien continue ensuite d'enchaîner les tournages ; il aime notamment se prêter à l'exercice du doublage, prêtant son timbre particulier pour BoJack Horseman (Lennie Turtletaub), Kung Fu Panda 3 (Kaï) ou Zootopie (le maire Lionheart).

En 2015, on retrouve J.K. aux côtés d'Arnold Schwarzenegger et Emilia Clarke dans le blockbuster Terminator Genisys. Il partage ensuite l'affiche avec Ben Affleck dans Mr Wolff, l’histoire d'un expert-comptable dans le civil qui est en réalité à la solde de la mafia. Le natif de Detroit collabore à nouveau avec le comédien/réalisateur dans Justice League ; il campe le célèbre personnage culte du commissaire Gordon. Il retrouve également le metteur en scène de Whiplash, Damien Chazelle, pour La La Land, comédie musicale et romantique avec Ryan Gosling et Emma Stone.