Après une décennie passée à s'illustrer dans les salles de théâtres de son Danemark natal, Mads Mikkelsen débute sur grand écran à l'âge de trente ans, au milieu des années 90. Accompagnant l'explosion de l'industrie cinématographique danoise, il se révèle en junkie au générique du sombre Pusher en 1996 (il reprendra son rôle dans Pusher II huit ans plus tard), puis devient une valeur sûre du cinéma scandinave. Il est ainsi à l'affiche, entre autres, de la série policière Unit 1, de la comédie policière Lumières dansantes (2000) ou encore de la comédie romantique Open hearts (2001).

Après avoir donné la réplique à Gérard Depardieu dans le drame Dina (2002), Mads Mikkelsen, acteur au visage fatigué et ténébreux, s'exporte à l'étranger. En 2003, il est à l'affiche de la production dano-espagnole Torremolinos 73. L'année suivante, alors qu'il est l'un des déjantés Bouchers verts, il franchit un cap supplémentaire et découvre Hollywood en incarnant Tristan dans Le Roi Arthur d'Antoine Fuqua. En 2006, son physique intriguant devient, presque logiquement, l'écrin parfait d'un méchant de la saga James Bond : il est ainsi Le Chiffre dans Casino Royale, nouveau volet de la franchise qui le voit affronter le nouvel agent 007 Daniel Craig.

En 2009, Mads Mikkelsen incarne le compositeur et chef d'orchestre russe dans le Coco Chanel & Igor Stravinsky de Jan Kounen, où il donne la réplique à Anna Mouglalis. En 2010, il est le guerrier muet et sauvage du film d'aventure danois Le Guerrier silencieux, Valhalla Rising, puis participe au blockbuster fantastique Le Choc des Titans, signé par le Français Louis Leterrier.

En 2012, sa performance dans La Chasse de Thomas Vinterberg, où il est accusé à tort de pédophilie, lui vaut un prix d'interprétation à Cannes. La même année sort sur les écrans Royal Affair, nommé à l'Oscar du Meilleur film étranger. Il devient ensuite, aux côtés de Hugh Dancy, le héros de la série Hannibal, dans laquelle il se glisse dans la peau du célèbre psychiatre cannibale. Mads Mikkelsen revient aussi à Cannes pour présenter le film d'Arnaud des Pallières, Michael Kohlhaas, dont il est l'interprète principal, et remettre, lors de la cérémonie de clôture, la Palme d'or du court métrage.

Après avoir campé un terrifiant mafieux dans Charlie Countryman, un pionnier voulant venger sa famille dans le western The Salvation et un frère brutal mais pas si méchant dans le déjanté Men & Chicken, l'acteur se dirige vers les grosses production hollywoodiennes. En étant le méchant du Marvel Doctor Strange et en rejoignant le casting de Rogue One A Star Wars Story, spin-off de la célèbre franchise intergalactique.

En 2019, l'acteur livre une prestation impressionnante dans Arctic où il tente de survivre dans un environnement particulièrement hostile. Dans le film d'action Polar sorti sur Netflix, il campe un redoutable tueur à gages. L'année suivante, il retrouve le réalisateur de La Chasse pour Drunk, une comédie dramatique au pitch intrigant puisqu'il est question de quatre amis décidant de mettre en pratique une théorie selon laquelle l’homme a, dès la naissance, un déficit d’alcool dans le sang.

L'année suivante, Mads Mikkelsen remplace Johnny Depp dans le rôle du sorcier Gellert Grindelwald au casting de Animaux fantastiques 3.