Jean-Marie Straub s'occupe de ciné-clubs dans sa ville natale de Metz au début des années cinquante avant de se rendre à Paris après avoir terminé ses études universitaires en Alsace et en Lorraine. C'est en 1954 qu'il y rencontre sa future épouse et collaboratrice Danièle Huillet. Il écrit quelques articles pour Radio-Cinéma-Télévision et travaille comme assistant-stagiaire sur plusieurs films dont La Tour de Nesle d'Abel Gance, Elena et les Hommes de Jean Renoir, Un condamne a mort s'est echappe de Robert Bresson et Le Coup du berger de Jacques Rivette.
En 1958, son refus de faire son service militaire en Algérie l'amène à quitter la France pour Amsterdam puis l'Allemagne. Sa fuite l'amène à être condamné par contumace à un an de prison par le tribunal militaire de Metz. Les poursuites contre lui ne sont abandonnées qu'en 1971.
En 1963, il coréalise son premier court métrage, Machorka-Muff. Comme dans son premier long, Non reconcilies ou Seule la violence aide ou la violence regne, Straub et Huillet y questionne la survivance du nazisme dans l'Allemagne de l'après-guerre. Les deux films sont inspirés d'écrits d'Heinrich Böll. Le couple y impose déjà un système de production particulier. Ils réalisent, écrivent, montent et produisent eux-mêmes tous leurs films afin de maintenir leur indépendance créative. En 1967, Chronique d'Anna-Magdalena Bach les imposent comme les principaux représentants d'un nouveau cinéma remettant en cause les schémas narratifs et esthétiques traditionnels. Ils filment en plans fixes ou longs travellings des textes adaptées d'oeuvres littéraires ou d'opéras.
Après la vie de Jean-Sébastien Bach, Straub et Huillet adaptent Pierre Corneille dans la Rome contemporaine avec Othon. La voix des comédiens y est confrontée aux bruits de la circulation. Cet art de la distanciation se retrouve également dans leurs deux films suivants, Leçon d'histoire et Moise et Aaron, où les cinéastes s'interrogent sur la société contemporaine à travers des personnages ou des mythes historiques. , tourné en 1979, leur permet d'engager une nouvelle fois une réflexion critique sur le capitalisme, un de leur sujet de prédilection. Trop tot, trop tard (1980) et Amerika, rapports de classe (1984), leurs deux longs métrages suivants, questionnent également la lutte des classes.
A la fin des années 1980, Straub et Huillet reviennent à la mythologie en tournant La Mort d'Empedocle ou Quand le vert de la terre brillera à nouveau pour vous (1989) puis en mettant en scène Antigone au théâtre avant d'en tirer un film homonyme (1994). A la même période, les cinéastes tournent également plusieurs moyens métrages parmi lesquels Lothringen! (1994) qui sort en France en complément de Du jour au lendemain (1996). En 1998 et 2000, ils adaptent par deux fois Elio Vittorini avec Sicilia ! et Ouvriers, paysans.
Si leurs films n'ont jamais touché le grand public et ne rallient pas l'ensemble de la critique, Straub et Huillet sont considérés par certains comme des cinéastes majeurs de la deuxième partie du XXème siècle. En 2002, Pedro Costa leur consacre ainsi un documentaire Où gît votre sourire enfoui ?
En 2002, le couple adapte une nouvelle fois l'écrivain italien Elio Vittorini avec Le Retour du fils prodigue - Humiliés. Toujours originaux, ils dirigent un documentaire intitulé Une Visite au Louvre (2004) dont les conversations entre Joachim Gasquet et Paul Cézanne sont la bande-son. Tout en continuant de tourner des courts-métrages, Jean-Marie Straub et Danièle Huillet réalisent une nouvelle adaptation : Ces rencontres avec eux (2005), tirée des "Dialogues avec Leucò" de Cesare Pavese. En 2008, sort un documentaire : Itinéraire de Jean Bricard.
2010 marque le retour au cinéma de Jean-Marie Straub avec O Somma Luce.