Fils d'immigrés marocains, Roschdy Zem prend des cours de théâtre et se passionne pour le football. Si sa première expérience cinématographique remonte à 1987 (une figuration dans Les Keufs), le jeune homme, qui gagne sa vie en vendant des jeans sur les marchés, ne pense pas encore à devenir acteur. Repéré par un assistant d'André Techiné, il tient des petits rôles dans ses films J'embrasse pas (1991) et Ma saison préférée (1991), et se produit épisodiquement au théâtre.

Roschdy Zem a 30 ans lorsque sa carrière prend véritablement son envol, et ce grâce à deux prestations très remarquées, le camé de N'oublie pas que tu vas mourir de Xavier Beauvois et l'attachant veilleur de nuit d'En avoir ou pas de Laetitia Masson. Le cinéma d'auteur s'entiche alors de ce garçon robuste et plein de sensibilité, qui apparaît chez Chéreau (Ceux qui m'aiment prendront le train), Garrel, et dans nombre de premiers films, comme Louise (take 2) ou ces deux subtiles évocations de la Guerre d'Algérie que sont L'Autre côté de la mer (1997) et Vivre au paradis (1998).

A l'image d'un Sami Bouajila, Roschdy Zem ouvre la voie aux comédiens d'origine arabe en France, en s'illustrant dans des rôles et des films très variés : cinéma social (Sauve-moi ou le plus léger Ma petite entreprise de Jolivet, qui lui vaut une nomination au César du Meilleur second rôle), comédies grand public (Le Raid, Blanche, ou Chouchou dans lequel il campe l'inénarrable Frère Jean) ou films psychologiques (Betty Fisher, Ordo). Indic dans 36, flic dans Le Petit lieutenant de son vieux complice Beauvois (avec à la clé une nouvelle nomination au César), ce grand acteur de composition, qui apprend l'hébreu pour Va, vis et deviens et prend l'accent serbe pour La Californie, obtient en 2006 à Cannes le Prix d'interprétation masculine, partagé avec ses partenaires, pour Indigènes, film de guerre sur les soldats nord-africains mobilisés en 1943.

Cette riche année est aussi marquée par ses débuts de réalisateur avec Mauvaise foi (dont il est aussi l'interprète principal), une comédie sur un couple mixte, elle juive (Cécile de France), lui musulman. En 2008, on le retrouve épris de La Fille de Monaco, surentraîné pour son rôle de flic risque-tout dans Go Fast ou fêtant ses retrouvailles avec Pierre Jolivet pour La Très très grande entreprise. Sa prestation d'avocat en proie à une crise de conscience dans Commis d'office (2009) est remarquée par la critique, tout comme celle dans le premier film de son ami Pascal Elbé, Tête de Turc. L'année 2010 marque le retour des tirailleurs d'Afrique du Nord à Cannes avec Hors-la-loi, de nouveau sélectionné, et permet à l'acteur de retrouver ses co-lauréats du Prix d'Interprétation Jamel Debbouze et Sami Bouajila. Roschdy Zem réalise la même année un second long métrage, Omar m'a tuer, inspiré de la sanglante affaire Omar Raddad.

En parallèle de sa carrière naissante de réalisateur, Roschdy Zem continue de sillonner le polar à la française, le gun toujours en bandoulière : il est une légende du banditisme dans A bout portant (2010) de Fred Cavayé, un commandant à la Brigade Mondaine dans Une nuit (2011), un patron au trafic d’armes à Marseille dans Mains armées (2012) ou encore un mystérieux étranger chez David Marconi dans Collision (2013).

Changement de registre en 2014, où le gangster du cinéma français campe le collègue sans-abri d'Anaïs Demoustier dans le fantaisiste Bird People, puis un grand chef étoilé dans la comédie On a failli être amies, aux côtés de Karin Viard et Emmanuelle Devos. La même année, Roschdy Zem sort son troisième long-métrage, Bodybuilder, l'histoire d'un adolescent de vingt ans rencontrant pour la première fois son père (François Yolin Gauvin) qu'il ne connaissait pas et découvre en même temps la passion de ce dernier pour le culturisme. L'acteur-réalisateur ne perd pas de temps puisque début 2016 sort en salles sa nouvelle réalisation, le biopic Chocolat, centré sur le destin hors du commun du premier artiste noir de la scène française, Rafaël Padilla alias Chocolat (campé par Omar Sy), véritable star durant la Belle Epoque. 

Variant les genres, Roschdy Zem incarne un chef-pompier dans Les Hommes du feu, un frère malsain dans Le Prix du succès, un père à la recherche de sa fille dans Ma fille et un gangster inquiétant dans Persona non grata (qu'il réalise). En 2020, il reçoit le César du meilleur acteur pour Roubaix, une lumière, dans lequel il campe un inspecteur chevronné et juste. Il attaque les années 2020 avec le film de procès La Fille au bracelet et le thriller Enquête sur un scandale d’Etat de Thierry de Peretti (Une vie violente). A noter aussi ses prestations dans les séries Les Sauvages et Notre-Dame, la part du feu.

Tournant beaucoup, l'acteur joue dans le drame Les Enfants des autres de Rebecca Zlotowski et campe l'un des personnages principaux de la comédie de braquage L'Innocent de Louis Garrel. Il réalise aussi son sixième long métrage en 2022, Les Miens, un drame sur la famille.