Issu d'une famille modeste d'origine danoise, Niels Arestrup grandit en banlieue parisienne et s'inscrit après le lycée au cours de Tania Balachova. Il débute sa carrière au théâtre avant d'apparaître pour la première fois au cinéma dans Miss O'Gynie et les hommes fleurs de Samy Pavel en 1973, puis dans Stavisky d'Alain Resnais en 1974.
Sans jamais abandonner le théâtre, il se construit une carrière atypique faite de seconds rôles de salauds (Les Loups entre eux, 1985 ; La Rumba, 1986) et de personnages ambigüs (La Dérobade ou La Femme flic aux côtés de Miou-Miou). A partir du milieu des années 80, on le voit s'imposer en tête d'affiche de quelques longs métrages comme Le Futur est femme (1984) de Marco Ferreri, où il devient l'amant d'un couple à trois ; La Tentation de Venus (1991), où il joue un chef d'orchestre hongrois aux prises avec l'Opéra de Paris ; Le Pique-nique de Lulu Kreutz (1999), où il incarne un violoncelliste célèbre et malheureux ; ou encore Parlez-moi d'amour (2002), première réalisation de Sophie Marceau où il interprète un mari vieillissant qui se sépare de sa femme.
En 2005 et 2009, Niels Arestrup trouve deux de ses rôles les plus forts en tournant pour Jacques Audiard, deux prestations pour lesquelles il reçoit le César du Meilleur Acteur (dans un second rôle) en 2006 et 2010 : on le voit ainsi camper le père, agent immobilier peu scrupuleux, de Romain Duris dans De battre, mon coeur s'est arrêté, et un terrifiant parrain de la pègre corse dans Un prophète, Grand Prix au Festival de Cannes 2009 et également récompensé par 9 César en 2010. Entre-temps, il s'essaie pour la première fois à la réalisation en dirigeant Yvan Attal dans le drame politique Le Candidat (2006) et s'intègre au riche casting du film de Julian Schnabel, Le Scaphandre et le papillon où il côtoie entre autres Mathieu Amalric, Emmanuelle Seigner, Patrick Chesnais, Marina Hands et même Max von Sydow.
Il apparaît ensuite dans L'Affaire Farewell (2009), un thriller d'espionnage avec Guillaume Canet et Emir Kusturica, puis dans L'Homme qui voulait vivre sa vie (2010), un drame existentiel où il donne la réplique à Romain Duris. Sa prestation lui vaut d'ailleurs d'être nommé une nouvelle fois au César du Meilleur second rôle. En 2011, on le retrouve en tête d'affiche dans Je n'ai rien oublié aux côtés de Gérard Depardieu puis dans Tu seras mon fils où il joue un charismatique viticulteur. Il rejoint parallèlement le casting de Cheval de guerre, retour à la réalisation de Steven Spielberg.
En 2012, trois ans après Un prophète, Niels Arestrup retrouve Tahar Rahim dans À perdre la raison, une libre adaptation de l'affaire Geneviève Lhermitte, du nom de cette mère ayant assassiné ses cinq enfants en 2007. Présenté au festival de Cannes en 2012 dans la catégorie "Un certain regard", le film remporte le prix d'interprétation féminine grâce à la performance saisissante d'Emilie Dequenne. A nouveau dans la peau d'un être immonde et manipulateur, l'acteur livre une prestation intense dont lui seul a le secret.
L'année 2014 est particulièrement dense pour Niels Arestrup : il remporte tout d'abord le César du meilleur acteur dans un second rôle pour Quai d'Orsay de Bertrand Tavernier, où il interprète Claude Maupas, un chef de cabinet ministériel. L'acteur reste ensuite dans le domaine politique avec Diplomatie où il se livre à un face-à-face tendu avec André Dussollier. L'interprétation des deux hommes dans ce duel historique est unanimement saluée. Enfin, après avoir joué un redoutable criminel qui s'évade de prison et séquestre Gérard Lanvin dans 96 heures, il campe, dans La Dune, un inspecteur spécialisé dans les disparitions tentant de définir l'identité d'un sans-papiers qui reste mystérieusement muet.
En 2015, dans Papa Lumière, Niels Arestrup se glisse dans la peau d'un père bourru et distant tentant d'apprendre à connaître sa fille, lorsque tous deux sont rapatriés d'urgence d'Abidjan vers un centre d'accueil niçois. Parallèlement à ses prestations cinéma, Niels Arestrup s'oppose à Kad Merad dans la première saison de la série politique à succès Baron noir (2016). Second rôle dans Vue sur mer (Angelina Jolie) et Au revoir là-haut (Albert Dupontel), l'acteur tend à se faire plus rare sur les écrans. Il tient toutefois début 2021 le haut de l'affiche de Villa Caprice, où il incarne un avocat aguerri ayant une étrange relation avec son client, l'un des patrons les plus puissants de France (Patrick Bruel).