Membre du parti communiste dès 1931, il devint secrétaire du comité régional de Dniepropetrovsk huit ans plus tard. Commissaire politique du 4ème front de l'Ukraine pendant la Deuxième Guerre mondiale, premier secrétaire du Comité central du Parti communiste de Moldavie (1950-1952) puis du Parti communiste du Kazakhstan (1954-1956), il remplaça Vorochilov à la tête du Présidium du Conseil suprême de l'URSS en 1960 et succéda enfin à Khrouchtchev comme premier secrétaire du Parti communiste de l'URSS en octobre 1964, présidant aux destinées du pays jusqu'à sa mort, en 1982.