Après avoir participé au spectacle du lycée, Gary Cole se forme à l’art dramatique durant ses études universitaires et peaufine son jeu sur les planches grâce à de multiples productions théâtrales. Pour ses premières apparitions sur le petit écran, le jeune artiste donne la réplique à des célébrités de l’époque : Peter Strauss, Karl Malden Eva Marie Saint ou encore Edward Asner. Le public peut l’apercevoir dans les années 1980 dans des séries comme Deux flics à Miami et Clair de lune, où il croise un certain Mark Harmon. La popularité arrive avec le lancement en 1988 de la série Jack Killian, l'homme au micro, dans laquelle il tient le rôle-titre : celui d’un ancien policier reconverti en animateur radio. A travers son émission nocturne, il se retrouve durant trois saisons à aider ses auditeurs à résoudre leurs problèmes, souvent liés à des affaires criminelles.

Gary Cole partage l’affiche du Vieil homme et la mer en 1990 avec Anthony Quinn, puis prête ses traits au général George A. Custer dans une fiction retraçant la sanglante bataille de Little Bighorn, au cours de laquelle les soldats de l'armée américaine furent décimés en 1876 par des guerriers Sioux et Cheyennes. Marg Helgenberger le pousse ensuite à devenir un assassin dans le thriller Mercenaire par amour. En 1993, il est un agent des services secrets chargés de la protection du Président des Etats-Unis dans le film avec Clint Eastwood Dans la ligne de mire. Il fait partie du casting 4 étoiles de la production britannico-franco-américaine Fortitude, à propos du débarquement en Normandie durant le Seconde Guerre mondiale. Dans un autre registre, il devient le patriarche de la déjantée famille Brady dans les deux volets : La Tribu Brady et Les Nouvelles Aventures de la famille Brady.

En 1995, Gary Cole est à nouveau au générique d’une série : American Gothic. Il y joue le dangereux et mystérieux shérif Lucas Buck, qui règne en maître sur la ville de Trinity. Dérangeant pour le grand public, le show ne dépasse pas la première saison. Dans un registre de science-fiction, l’acteur prend les commandes de 2267, ultime croisade, un show de J. Michael Straczynski dérivé de Babylon 5. Le capitaine Matthew Gideon et son équipage parcourent l’univers à la recherche d’un remède à un virus susceptible d’éradiquer l’humanité. Seuls 13 épisodes voient le jour. Même scénario avec Family Affair, le remake d’une série des années 1960, qui ne fait pas long feu. Face à toutes ces déconvenues, le comédien est souvent cantonné dans des seconds rôles. Jorge Zamacona lui confie cependant en 2005 le rôle principal de la série Wanted. Il y interprète Conrad Rose, à la tête d’une équipe d'élite spécialisée dans la traque des fugitifs les plus recherchés du pays. Le groupe n’est pas missionné pour une 2ème saison.

Tout en continuant d’apparaître en guest-star dans des programmes tels que Monk, New York Unité spéciale ou Arrested development, Gary Cole joue le Vice-Président Bob Russell dans la prestigieuse série d’Aaron Sorkin À la Maison Blanche. Dans la saison 4 de Desperate Housewives, il prête ses traits à Wayne Davis, l’inquiétant ex-mari de Katherine Mayfair (Dana Delany). Et les fans d’Entourage se souviennent également de lui dans la peau d’Andrew Klein, l’un des managers de l’agence Miller Gold. Parallèlement à ses apparitions dans Supernatural, Numb3rs, The Closer, Chuck, True Blood ou 30 Rock, le comédien prête sa voix pour le doublage de dessins animés (Kim Possible, Les Pingouins de Madagascar, Archer, Harvey Birdman, Bob's Burgers, Les Griffin et bien d’autres).

A compter de mars 2011, Gary Cole endosse le rôle de l’expert balistique Kurt McVeigh dans The Good Wife et fait tourner la tête de Christine Baranski (alias Diane Lockhart), qu’il suit dans le spin-off The Good Fight pour l’épouser pour le meilleur et pour le pire. Mentor de Harvey Specter (Gabriel Macht) dans Suits, conseiller principal de la Présidente Selina Meyer (Julia Louis-Dreyfus) dans Veep, commissaire aux incendies dans Chicago Fire, père de Mark-Paul Gosselaar et Beau Bridges dans Mixed-ish, Gary Cole prend la tête du NCIS au début de la saison 19, à la suite du départ de Mark Harmon. Il y incarne, à partir de septembre 2021, Alden Parker, un ancien du FBI qui succède à Gibbs au poste de superviseur de l’équipe.

Pascal Muscarnera