Enfant des montagnes, Jean-François Balmer est né à Valangin, en Suisse. Persuadé que pour être un bon comédien il faut au préalable avoir tout essayé, entre quinze et vingt-quatre ans, il enchaîne les petits boulots. Ponceur, livreur, serveur, sonneur de cloches, guide de montagne, il tente tout. Après avoir suivi des études de commerce, pour réaliser son rêve, il finit par monter à Paris et entame des études d'art dramatique au Conservatoire, où il se retrouve dans la même promotion que Daniel Mesguich et Jacques Weber.

A sa sortie du Conservatoire, il décroche des petits rôles dans R.A.S. (1973), sous la direction de Michel Deville, dans Le Mouton enragé (1974) aux côtés de Jean-Louis Trintignant, Jean-Pierre Cassel et Romy Schneider, et dans Peur sur la ville (1975) d'Henri Verneuil, auprès de Jean-Paul Belmondo. Parallèlement, on le voit au théâtre où il débute dans Le Mariage de Figaro (1973), mis en scène par son ami Jacques Weber.

Malgré sa prestation dans La Menace (1977) d'Alain Corneau, qui lui vaut le César du meilleur second rôle masculin, il reste cantonné à des seconds rôles. Alors qu'il interprète un flic ripoux dans Flic ou voyou (1978) réalisé par Georges Lautner, et où il retrouve à nouveau Belmondo, on l'aperçoit aussi en flic dynamique dans Neige (1981) de Juliet Berto, ou encore en secrétaire de Catherine Deneuve dans L'Africain. Il signe sa toute première collaboration avec Claude Chabrol dans Le Sang des autres (1983).

C'est le metteur en scène Jacques Bral qui lui permet à l'âge de trente-huit ans d'obtenir son premier grand rôle, en interprétant le détective Eugène Tarpon dans Polar (1984). Pour Jean-François Balmer, c'est enfin la reconnaissance du public ! Il poursuit avec L'Amour ou presque (1985) où il obtient le rôle principal, et offre une composition bluffante de Louis XVI dans La Révolution française (1989), s'imposant comme la grande révélation du film. Il retrouve Claude Chabrol en incarnant le mari d'Isabelle Huppert dans Madame Bovary (1991), mais également des années plus tard dans Rien ne va plus (1997), L'Ivresse du pouvoir (2005) et Lucifer et moi (2008), interprétant des rôles certes inoubliables, mais très sombres. L'acteur s'essaie dans un registre plus comique en donnant la réplique à Laetitia Casta et à Mathieu Amalric dans Le Grand appartement (2006). Il renouvelle l'expérience en 2009 avec Mumu, aux côtés de Sylvie Testud, et avec Lucky Luke de James Hunt, où il retrouve l'actrice.

Cette percée dans le cinéma ne l'empêche pas, tout au long de sa carrière, de multiplier les apparitions au théâtre et à la télévision. Il campe notamment depuis 1999 le Commandant Gabriel Rovère dans la série policière Boulevard du palais, et incarne des personnages célèbres, comme Georges Pompidou dans Mort d'un président ou Malesherbes dans Chateaubriand en 2010, avec Frédéric Diefenthal dans le rôle-titre.

En 2012, le comédien s'introduit Dans la maison de François Ozon, auprès de Fabrice Luchini et de Kristin Scott Thomas. Dans ce thriller, il incarne le proviseur d'un lycée, confronté à un élève qui entretient des rapports ambigus avec la famille qui inspire les personnages de ses rédactions.