Après des études d'agriculture dans son Sud-Ouest natal, Jacques Dufilho s'installe à Paris. Passionné par la sculpture et la peinture, il choisit finalement la scène et se lance dans le café-théâtre à la fin des années 30 avec des sketchs de son cru, guidé en cela par son mentor Charles Dullin. C'est en 1948 qu'il se révèle sur grand écran, avec un petit rôle dans La Ferme des sept péchés, réalisé par son ami Jean Devaivre.
Grand homme de théâtre, Jacques Dufilho connaît une carrière cinématographique plus inégale. Le septième art joue de manière souvent caricaturale avec son physique bourru. Extrêmement prolifique, il multiplie les seconds rôles, employé par Jean Delannoy (Marie-Antoinette reine de France, Notre-Dame-de-Paris) André Hunebelle (Taxi, roulotte et corrida), Yves Robert (Signé Arsène Lupin, La Guerre des boutons) ou encore Louis Malle (Zazie dans le métro).
Dans les années 70, sa carrière cinématographique prend un nouvel essor. Il incarne un colonel autoritaire dans Les Bidasses en folie et, surtout, joue les premiers rôles dans les comédies Chut de Jean-Pierre Mocky et Une journée bien remplie de Jean-Louis Trintignant. En 1978, il obtient le César du Meilleur second rôle masculin pour sa prestation dans Le Crabe tambour de Pierre Schoendoerffer.
Privilégiant la télévision et le théâtre, Jacques Dufilho est courtisé par les plus grands cinéastes. Claude Chabrol l'engage ainsi pour Le Cheval d'orgueil alors que Claude Sautet le fait jouer dans Un mauvais fils pour lequel il remporte à nouveau le César du meilleur second rôle masculin. En 1993, dans le Pétain de Jean Marboeuf, il confirme une certaine propension au film historique en se glissant sous les traits du Maréchal Philippe Pétain.
Jacques Dufilho apparaît ensuite aux génériques des Enfants du marais et de C'est quoi la vie?. En 2003, il retrouve le cinéaste Pierre Schoendoerffer en jouant un curé dans le film Là-haut.