Gilles Jacob voit le jour en 1930 dans le 17ème arrondissement de Paris. Élève au lycée Carnot, il est obligé de fuir la capitale au début de la Seconde Guerre mondiale du fait de ses origines juives. Traqué par la Gestapo, le jeune Gilles est caché avec son frère dans une école catholique des Alpes et échappe à une arrestation en se dissimulant derrière l'harmonium d’une église, scène que Louis Malle met en image quarante ans plus tard dans Au revoir les enfants.

A la Libération, Gilles Jacob revient à Paris et entre au lycée Louis-le-Grand. Cinéphile averti, il passe de nombreuses heures dans les salles obscures. Avec son ami Claude Chabrol, il fréquente François Truffaut et la Cinémathèque française de la rue d'Ulm. Encore étudiant en Khâgne, il crée en 1949 une revue de cinéma, Raccords qui totalise 118 abonnés et publie les premiers articles de François Truffaut. En 1964, son essai Le Cinéma moderne lui permet d'assister à son premier Festival de Cannes et d'écrire des critiques pour Cinéma 64 entre 1964 et 1967 et pour Les Nouvelles littéraires de 1968 à 1971.

Après avoir intégré L'Express comme critique cinéma sur invitation de Pierre Billard, il est secrétaire général adjoint de l'Association française de la critique de cinéma et de télévision en 1973. Sévère envers Le Cinéma de papa de Claude Berri, pour son premier papier, élogieux pour les premiers films de Woody Allen, il est contraint de quitter le magazine en 1975 après avoir jugé négativement Histoire d'O, film soutenu par Jean-Jacques Servan-Schreiber. De cet épisode, il tire avec son fils un scénario, mis à l'écran et joué en 1984 par Francis Perrin sous le titre Ca n'arrive qu'à moi.

Sur proposition de Michel d'Ornano ministre de la Culture, Gilles Jacob est élu le 30 septembre 1977 délégué général du Festival de Cannes, chargé de voir des milliers de films et de choisir les candidats à la Palme d'Or. Sans se soucier des risques diplomatiques, au nom de la liberté d'expression, il diffuse en 1968 comme "film surprise", film du polonais Andrzej Wajda, censuré dans son pays car critique vis-à-vis du régime socialiste. Pour sa première sélection, il présente en 1979 Apocalypse Now, Le Tambour, Hair, Répétition d'orchestre et Le Grand embouteillage.

Durant un quart de siècle, avec Pierre Viot comme président, Gilles Jacob ouvre Cannes aux cinématographies du monde entier et choisit de mettre en avant les acteurs et les réalisateurs plutôt que les producteurs et les décideurs politiques. Désirant faire de Cannes une vitrine pour une nouvelle génération de cinéastes, il crée en 1978 le prix de la Caméra d'or, qui récompense un premier film et la section Un Certain Regard, qui présente une sélection alternative. Plus tard, il fonde également les Leçons de cinéma en 1991, et la Cinéfondation en 1998, que préside son fils Laurent. Transformé, le Festival de Cannes devient le plus gros événement artistique mondial. Gilles Jacob fait bâtir un nouveau Palais des Festivals, critiqué et surnommé le Bunker, favorise la présence des médias et négocie la diffusion des cérémonies par Canal + en 1986. Derrière la fête médiatique, il en fait aussi un rendez-vous économique incontournable du secteur, avec le développement du marché du film. À partir du début des années 2000, il organise également des hommages et des rétrospectives.

En 2001, Gilles Jacob est élu à la présidence du Festival de Cannes. Laissant la charge de la sélection à Thierry Frémaux, il garde un rôle primordial à la direction, fixant la ligne éditoriale et s'occupant des relations avec les partenaires privés et les institutions publiques. Personnalité respectée du cinéma français, il préside le Prix Louis Delluc depuis 1993, et siège aux conseils d'administration de la Sept Cinéma depuis 1992 et de la BIFI depuis 1996. Il a également été administrateur de Films A2 entre 1980 et 1992, et a dirigé la collection La Bibliothèque du cinéma chez Hatier entre 1979 et 1992.

Homme mystérieux, Gilles Jacob préfère les coulisses aux feux de la rampe. Mis à part quelques apparitions exceptionnelles au cinéma (il a joué son propre rôle dans Grosse fatigue de Michel Blanc en 1994 et Femme Fatale de Brian De Palma en 2002), c'est en tant que réalisateur qu'il s'illustre, avec sa trilogie dédiée au septième art, dont le dernier volet en date intitulé Une journée particulière (2012), trace le portrait de trente acteurs et réalisateurs de renom. En 2014, il quitte ses fonctions de président du Festival de Cannes et il est remplacé par Pierre Lescure.