A Genève, Bruno Forestier, déserteur de la guerre d'Algérie, est au centre d'une intrigue mineure, au sens où, approximative et digressive, elle sert principalement la réflexion de Godard à propos du conflit algérien (toujours en cours au moment du tournage), une intrigue où sont mélés des barbouzes françaises et des membres du FLN.
Adossé, comme pour "A bout de souffle", à une esquisse de scénario policier ou d'espionnage, le film de Godard est le reflet d'une mise en scène et d'un mode narratif atypiques et anticonformistes, relevant tout à la fois de la facétie et de l'expérimentation, en même temps qu'il est le support d'un débat polémique sur l'Algérie. De cette dialectique complexe et parfois obscure, où se mélangent, dans une expression à l'emporte-pièce, aphorismes divers, références culturelles et, tout de même, considérations politiques sur les "évènements", se détachent plus clairement certains thèmes, telle la nécessité ou non de s'engager dans un camp ou dans l'autre, telle la torture.
On retrouve dans "Le petit soldat" le cheminement erratique, du moins désorienté, du personnage central dont Godard commente lui-même les déplacements et les pensées. On y retrouve aussi l'héroine étrangère à l'accent charmant, notamment dans une scène rappelant la scène de "la chambre" d' "A bout de souffle", entre Jean Seberg et Belmondo. La familiarité de Forestier (Michel Subor), dans ses raisonnements et ses questionnements, notamment sur les femmes, avec les rôles godardiens de Belmondo est évidente.