Laissant de côté ses études de médecine, Sam Karmann choisit la voie de la comédie. Sa formation passe par la rue Blanche et surtout la compagnie théâtrale de Jean-Pierre Bouvier. Il fait ses débuts au cinéma chez Alexandre Arcady dans Le Grand Pardon (1982), puis Le Grand Carnaval (1983). Le héros de ces films, Roger Hanin, le dirigera dans ses propres réalisations (Train d'enfer et La Rumba), et sera surtout son partenaire dans la très populaire série Navarro : de 1989 à 1995, Karmann campe un des mulets du charismatique commissaire.
L'acteur ne tarde pas à faire une autre rencontre marquante : le tandem Agnès Jaoui/Jean-Pierre Bacri, avec qui il se lance dans l'aventure Cuisine et dépendances, sur les planches puis au cinéma . Il incarne le conformiste Jacques dans cette comédie de caractères fine et ironique, couronnée de succès. Serial killer dans le délirant La Cité de la peur, ce grand second rôle ne se cantonne toutefois pas à la comédie (Monsieur Batignole).
Co-écrit et interprété par deux comédiens de Navarro, son premier court-métrage comme réalisateur, l'astucieux Omnibus, est très remarqué, au point d'obtenir la Palme d'Or à Cannes en 1992 et un Oscar en 1993. Après un premier projet avorté, il devra attendre 1999 pour signer son premier long métrage, inspiré du roman de Jean-Paul Dubois Kennedy et moi, autour d'un quadra en pleine "Crise de Milieu de Vie" interprété par Jean-Pierre Bacri. Dans son deuxième long, A la petite semaine (2002), Karmann fait le portrait non plus d'un mais de trois hommes (le trio Lanvin-Gamblin-Cornillac), entre polar et récit d'une amitié. Son troisième opus, La Vérité ou presque, est l'adaptation du roman homonyme de Stephen McCauley, un film choral sur la loi des apparences et celle du désir.