Originaire du Japon, Mako débarque aux Etats-Unis peu après la Seconde guerre mondiale, pour y étudier l'architecture. Fait citoyen américain en 1956, c'est sous l'uniforme de l'armée qu'il se découvre une passion pour le théâtre et la comédie : ainsi, lorsqu'il revient à la vie civile, il abandonne sa carrière d'architecte et rejoint les rangs de la Pasadena Community Playhouse. Après des débuts à la télévision dans diverses séries, il s'illustre au cinéma dans La Canonnière du Yang-Tse de Robert Wise (1966), qui lui vaut une nomination à l'Oscar et au Golden Globe du Meilleur second rôle. Il sera malheureusement cantonné par la suite aux seconds rôles, et s'illustrera entre autres dans Conan le barbare (1982) et Conan le destructeur (1983), Tucker (1988), Fenêtre sur Pacifique (1991), Sidekicks (1992), Soleil levant (1992), Crying Freeman (1995), Sept ans au Tibet (1997) et plus récemment dans Pearl Harbor (2001), Le Gardien du manuscrit sacré (2003) et Mémoires d'une geisha (2006).