Après des études de cinéma à Montpellier, Tahar Rahim débute sa carrière de comédien en 2005 en s'illustrant dans Tahar l'étudiant, un docu-fiction signé Cyril Mennegun et qui s'inspire de son propre quotidien. Inscrit au Laboratoire de l'acteur, il se produit également sur les planches en 2007 dans la pièce Libres sont les papillons de Leonard Gersh. Parallèlement, on le découvre en policier municipal dans le film d'horreur A l'intérieur de Julien Maury et Alexandre Bustillo.
Mais c'est sa prestation de petite frappe dans la série La Commune diffusée sur Canal+ qui va lui conférer une certaine popularité. Remarqué par le réalisateur Jacques Audiard pour sa justesse de ton et son côté juvénile, Tahar Rahim décroche le rôle du délinquant Malik El Djebena, personnage principal du Prophète. Portée par la performance fiévreuse de son interprète, cette violente plongée dans l'univers carcéral français est le lauréat du Grand Prix au Festival de Cannes en 2009. Le film est aussi récompensé par neuf César en 2010 dont le César du Meilleur Espoir Masculin et celui du Meilleur Acteur pour Tahar Rahim, ce doublet étant une grande première dans l'histoire de la cérémonie.
Sa carrière est désormais lancée, comme en témoignent ses nombreuses prestations en 2011. Ainsi, il commence par s'afficher aux côtés de Channing Tatum dans L'Aigle de la Neuvième Légion de Kevin Macdonald, et joue un espion malgré lui pendant la Deuxième Guerre mondiale dans Les Hommes libres. L'acteur enchaîne avec le drame Love and Bruises, où il incarne un jeune ouvrier qui tombe amoureux d'une étudiante chinoise interprétée par Corinne Yam. La même année, il revient aux intrigues historiques en tenant le rôle principal dans un film de Jean-Jacques Annaud, Or Noir.
Le comédien tourne ensuite dans le long métrage de Joachim Lafosse, A perdre la raison, pour lequel il retrouve Niels Arestrup et revient en 2013 sur la Croisette avec deux films en compétition : Le Passé du réalisateur iranien Asghar Farhadi et Grand Central de Rebecca Zlotowski. En 2014, Tahar Rahim est à l'affiche de deux films : Samba et The Cut. Dans le premier, il endosse le rôle de Wilson, un sans-papiers qui vient en aide au personnage joué par Omar Sy, et dans le second, l'acteur incarne Nazaret Manoogian, un Arménien qui fuit le génocide perpétré en 1915 et part à la recherche de ses deux filles.
Fin 2014, Tahar se glisse dans les habits du Père Noël avant de s'illustrer l'année suivante dans Les Anarchistes aux côtés d'Adèle Exarchopoulos. En 2016, il tient le rôle d'un médecin dans le drame poignant Réparer les vivants puis tourne sous la direction du cinéaste japonais Kiyoshi Kurosawa dans le drame fantastique Le Secret de la chambre noire. L'année d'après, l'acteur incarne un humoriste à succès en conflit avec un frère envahissant (Roschdy Zem) dans Le Prix du succès, puis campe Judas dans Mary Magdalene et s'immerge dans l'univers des jeux clandestins dans Joueurs.
Parallèlement, le natif de Belfort goûte aux joies du petit écran et ses séries de qualité, comme Panthers, The Looming Tower ou encore Le Serpent. Dans cette dernière, il campe ni plus ni moins que le très dangereux criminel Charles Sobhraj, surnommé "Le Serpent", qui a tué de nombreux jeunes voyageurs durant les années 1970. Adepte des rôles difficiles, Tahar Rahim incarne Mohamedou Ould Slahi dans le biopic Désigné coupable (2021), un écrivain mauritanien injustement incarcéré à Guantanamo. Sa composition lui vaut d'être nommé aux Golden Globe et BAFTA du meilleur acteur.
2021 est décidément une année faste pour le comédien, qui est membre du jury du 74ème Festival de Cannes, aux côtés notamment de Mylène Farmer, Mélanie Laurent et du président Spike Lee. L'année suivante, il s'essaie à la comédie musicale avec Don Juan, librement inspirée de la pièce de Molière. Il y campe un héros meurtri et obsédé la femme qui l'a abandonné, jouée par Virginie Efira.
Son talent ne passant pas inaperçu de l'autre côté de l'Atlantique, il est au casting de deux superproductions. La première, Napoléon, est une fresque épique de plus de 2h30 signée Ridley Scott et menée par Joaquin Phoenix. La seconde est un spin-off de Spider-Man, Madame Web, production Marvel où il campe le méchant Ezekiel Sims. Malgré l'ampleur de ces projets, le succès n'est pas au rendez-vous : Napoléon bénéficie d'un accueil tiède de la part du public et de la critique, tandis que Madame Web est un échec cuisant.
Revenu dans l'Hexagone, Tahar Rahim se glisse en 2024 dans la peau d'une icône de la musique française grâce à Monsieur Aznavour. Réalisé par le duo Grand Corps Malade-Mehdi Idir, le biopic retrace le parcours du chanteur de La Bohème. Un rôle pour lequel l'acteur a dû apprendre le chant et le piano.