Après avoir étudié la musique et l'art dramatique au Shenandoah Conservatory, Harold Perrineau débute sur les planches en 1989 dans l'adaptation du film à succès Fame (1980) ainsi que dans sa déclinaison à la télévision. Après son passage dans quelques séries dont le Cosby Show, il obtient un petit rôle dans The King of New York (1990) d'Abel Ferrara.

Perrineau reste tout de même attaché au monde de la télévision et apparaît l'espace de quelques épisodes dans New York District avant d'avoir un rôle récurrent dans "Les ailes du destin". Diffusée sur NBC de 1991 à 1993, cette série humaniste permet au grand public de le découvrir dans le rôle de Robert Evans. Il enchaîne deux ans plus tard avec le film Smoke réalisé par Wayne Wang et écrit par Paul Auster.

1996 est une année charnière pour le comédien puisqu'il est au générique de Blood and wine aux côtés de Jack Nicholson et Michael Caine, et qu'il déclame Shakespeare en choeur avec Leonardo DiCaprio et Claire Danes dans l'adaptation très moderne de Romeo + Juliette réalisée par Baz Luhrmann. L'acteur apparaît ensuite dans le thriller A couteaux tirés, aux côtés de grands noms comme Anthony Hopkins et Alec Baldwin.

Si Harold Perrineau s'arrête aux Urgences en 1997 le temps d'un épisode, c'est véritablement son passage dans Oz, la série culte en milieu carcéral, qui marque les esprits. De 1997 à 2003, il y incarne Augustus Hill, prisonnier-narrateur en chaise roulante. Au cinéma, l'acteur apparaît dans Lulu on the Bridge (1998), premier film réalisé par Paul Auster ainsi que dans des comédies comme Amour, piments et bossa nova (1999) de Fina Torres.

En 2002, c'est l'envol vers une autre dimension, celle de Matrix Reloaded et Revolutions, où il interprète Link dans les deux derniers volets de la trilogie. Après une apparition dans un épisode de la première saison de Dead Like Me, Harold Perrineau se dirige en 2004 vers une destination inconnue : l'île des survivants de la série Lost, les disparus où il interprète Michael Dawson tout au long des 6 saisons.

Au cinéma, Perrineau fait des choix audacieux et tourne aussi bien dans des films à gros budget comme 28 semaines plus tard (2007) que dans des films plus confidentiels comme Gardens of the Night (2008) ou Case 219 (2010). En 2011, l'acteur joue dans Le Pacte en compagnie de Nicolas Cage et revient à la télévision durant la cinquième saison de Sons of Anarchy où il se glisse dans la peau d'un redoutable gangster qui entend bien faire mordre la poussière à Jax et sa bande de bikers. Il fait ensuite partie du casting de Zero Dark Thirty (2012) de Kathryn Bigelow et du musclé Sabotage porté par Arnold Schwarzenegger.