Diplômé en communication, Mark Harmon s'essaie au football américain avant de se tourner vers la comédie. Dès 1977, il enchaîne de nombreux téléfilms, et obtient un rôle régulier dans Hôpital St Elsewhere (1983). Il apparaît ensuite dans des séries comme Clair de lune (1987) et A la Maison blanche. En 2003, il joue l'agent Gibbs dans deux épisodes de JAG, puis dans son spin-off où il prend la tête des enquêtes spéciales du NCIS.
Principalement acteur de télévision, Mark Harmon n'est pas absent du grand écran puisqu'il côtoie des acteurs comme Johnny Depp dans Las Vegas parano (1998), et Jamie Lee Curtis dans Freaky friday dans la peau de ma mère.