Né en 1938 à Bucarest en Roumanie, Marin Karmitz est issu d'une famille juive qui immigre en France en raison de la politique antisémite de Antonescu, alors qu'il a tout juste neuf ans. À Paris, il passe son bac et rentre à l'IDHEC en 1957, à la suite de quoi, il devient chef opérateur. Il travaille alors avec Pierre Kast, Agnès Varda, qu'il assiste sur le tournage de Cléo de 5 à 7 en 1962, et Jean-Luc Godard dont il produira le Sauve qui peut (la vie) en 1979.

Souhaitant réaliser ses propres films, Marin Karmitz crée sa maison de production MK2 Productions en 1967, d'abord exclusivement consacrée aux courts métrages dont les siens, "Nuit noire", "Calcutta" ou encore "Comédie". Après mai 1968, il délaisse ses recherches formelles dans Camarades, l'histoire de la prise de conscience politique d'un ouvrier, puis dans Coup pour coup en 1972, film pour lequel il est confronté à un problème de diffusion. C'est la raison qui le pousse à devenir exploitant et à ouvrir, le 1er mai 1974, le Cinéma 14 Juillet à Bastille. Cette activité ne l'empêche pas de se relancer dans la production, métier pour lequel il est bientôt reconnu. Ses combats contre les multiplexes puis contre la carte de réduction cinéma n'aboutissent pas mais font de lui le héraut des professionnels tandis que son empire, la société de production MK2, fait figure de référence en France.

Son activité de producteur amène Marin Karmitz à former des collaborations fructueuses avec des grands noms du cinéma français tels que Alain Resnais (Mélo, I Want to Go Home), ou encore Claude Chabrol (Une Affaire de femmes, Madame Bovary, L' Enfer). Il contribue également à soutenir le cinéma à travers le monde, notamment le cinéma iranien, avec le réalisateur Abbas Kiarostami (Le Vent nous emportera, ABC Africa) et le cinéma coréen avec le réalisateur Sang-soo Hong (La Femme est l'avenir de l'homme) .

Marin Karmitz a produit et coproduit plus de quatre-vingt dix films, en a distribué plus de trois cents et a créé un circuit de dix complexes cinématographiques à Paris, le troisième de la capitale en termes d’importance avec un total de cinquante-huit écrans, de cinq millions de spectateurs annuels et 17 % des parts de marché de Paris intramuros, dont les derniers en date sont en 2003 le MK2 Bibliothèque et en 2006 le MK2 Quai de Loire, face au MK2 Quai de Seine. MK2 figure aujourd'hui parmi les quatre principaux groupes cinématographiques français et est présent dans les différents secteurs de l'audiovisuel avec un catalogue de droits de plus de 400 titres (dont Charles Chaplin, François Truffaut, Krzysztof Kieslowski, Claude Chabrol, Abbas Kiarostami, Gus Van Sant,...), une production cinéma et télévisuelle, et une filiale d’édition vidéo avec plus de 400 titres édités à ce jour.

En octobre 2005, Marin Karmitz cède sa société MK2 et toutes ses filiales à son fils Nathanaël Karmitz. Il continue cependant de peser sur la vie culturelle française, notamment en participant au débat sur la réforme de l'audiovisuel public et en intégrant le "conseil pour la création artistique" voulu par Nicolas Sarkozy. Il produit également le dernier film d'Abbas Kiarostami (avec qui il a beaucoup travaillé), Copie conforme, avec Juliette Binoche.