C'est après avoir abandonné ses études d'Histoire de l'université de Lisbonne que Pedro Costa se décide à devenir un technicien du cinéma. Il s'inscrit au cours de montage et de réalisation de l'Escola Superior de Cinema (l'Ecole de Cinéma du Conservatoire National de Lisbonne), cours enseignés par l'acteur portugais Antonio Reis. Il travaille ensuite comme assistant directeur sur plusieurs films nationaux, et se lance en 1987 dans la réalisation de son premier court métrage, Cartas a Julia, suivi bientôt par la réalisation d'une série pour enfants pour la tévisison portugaise. Très influencé par Friedrich-Wilhelm Murnau, il signe en 1989 son premier long, Le Sang, un drame encensé par la critique qui ne satisfait pourtant pas tout à fait à ce cinéaste réputé exigeant.
La Maison de lave en 1994 confirme le talent de ce réalisateur portugais aux yeux des professionnels du cinéma, qui dévoile dès lors les caractéristiques de son travail : un esthétisme qui frôle le maniérisme, des noirs et blancs variés et très travaillés, des thèmes récurents tels que le sordide et le crasseux, mais un certaine tendance à les sublimer. Son goût pour le sang et la violence froide se retrouve dans Ossos (1997), son troisième long métrage, qui traite de l'enfance malheureuse. Les critiques voient en son style un retour au cinéma des origines, héritage du cinéma muet. Le film sera primé notamment à Venise et à Belfort.
En 2000, il signe Dans la chambre de Vanda, un documentaire qui tend vers la fiction narrant la déchéance réelle d'une toxicomane. L'esthétisme de Costa transforme cette histoire sombre en poème filmique, où une partie de la critique voit une forme de complaisance pour le morbide et le glauque lorsque l'autre crie au sublime. Où gît votre sourire enfoui ? est l'occasion pour Costa de rendre hommage au travers de ce documentaire au couple de cinéastes Danièle Huillet/Jean-Marie Straub, les papes du cinéma puriste.