Alan Arkin grandit dans un quartier de Brooklyn à New York, au sein d'une famille d'intellectuels et d'artistes juifs, immigrés de Russie et d'Allemagne. Enfant de la balle, manifestant dès son plus jeune âge une passion pour la musique et le théâtre, il abandonne pourtant ses études supérieures pour fomer son groupe de musique, "The Tarriers". Il écrit même une chanson en 1956, "The Banana Boat Song", qui sera reprise triomphalement par un certain Harry Belafonte peu de temps après. Vivant d'expédients et de petits boulots, il essaie tant bien que mal de décrocher sur le tas un petit rôle à la télévision ou au théâtre. La chance lui sourit en 1957, où il décroche le petit rôle d'un chanteur dans le film musical Calypso Heat Wave.

Sa carrière décolle sur les planches au début des années 60, lorsqu'il rejoint la célèbre troupe d'improvisation de Chicago, le "Second City Theater". Son premier rôle à Broadway, le personnage principal de la pièce de Carl Reiner, "Enter Laughing", lui vaut le Tony Award du Meilleur acteur. En 1966, il obtient un franc succès dans la comédie satyrique Les Russes arrivent, signée par Norman Jewison, pour laquelle il est cité à l'Oscar du Meilleur acteur et remporte le Golden Globe. L'année suivante, il donne la réplique à une Audrey Hepburn aveugle dans Seule dans la nuit, où il incarne un terrifiant psychopathe. Ironie : en 1968 il incarne un sourd-muet dans Le Coeur est un chasseur solitaire; un rôle pour lequel il obtient sa deuxième citation à l'Oscar. En 1970, il livre une désopilante prestation avec le rôle du Capitaine de bombardier Yossarian, dans le pamphlet anti-guerre Catch 22 (Mike Nichols), avant de signer avec Little Murders sa première réalisation. Après quelques années passées à la télévision, il campe en 1976 un étonnant Dr Freud dans le très réussi Sherlock Holmes attaque l'Orient Express.

Les années 80-90 marquent pour lui une carrière en demi-teinte, jalonnée de choix artistiques parfois discutables et de franches réussites. Au début des années 90, il tourne sous la houlette de Sydney Pollack dans Havana, avant d'être convoqué par Tim Burton pour les besoins d'Edward aux mains d'argent. En 1992, il fait partie de l'impressionnant casting qui compose Glengarry Glen Ross, aux côtés d'Al Pacino, Kevin Spacey et Jack Lemmon. Après un détour par la SF (Bienvenue à Gattaca) et la série télé Tribunal Central réalisée par Sidney Lumet, il campe en 2006 un grand-père obsédé sexuel (mais touchant) dans le remarqué Little Miss Sunshine.

Très actif, le comédien partage les affiches des thrillers Firewall (2006) et Détention secrète (2008). Alan Arkin collabore ensuite à nouveau avec Steve Carell dans la comédie Max la menace, inspirée de la série télévisée éponyme, avant de tourner dans Marley & moi aux côtés du couple Owen Wilson/Jennifer Aniston. Second rôle de qualité, il incarne le mari de Robin Wright dans Les Vies privées de Pippa Lee puis retrouve la bande du Muppets Show, après avoir participé à un épisode en 1980, dans le film Les Muppets, le retour. L'acteur prend également part à une arnaque intelligemment mise en place (Thin Ice) et interprète le père de Ryan Reynolds dans la comédie Echange standard.

En 2012, Alan Arkin participe au très primé Argo. Il joue pour l’occasion Lester Siegel, un drôle de producteur chargé avec John Goodman de couvrir Ben Affleck : sa performance est nommée aux Oscars dans la catégorie Meilleur acteur dans un second rôle. Le toujours en forme acteur donne aussi la réplique à Al Pacino et Christopher Walken dans Les Derniers affranchis avant d’incarner l’entraîneur de Sylvester Stallone dans la comédie de boxe Match retour et de côtoyer la star de Mad Men Jon Hamm dans Million Dollar Arm (un autre film ayant pour thématique le sport).

En 2019, il retrouve Tim Burton pour Dumbo, et donne la réplique à Michael Douglas le temps de deux saisons de la série Netflix La Méthode Kominsky.