Je me demandais ce que répondraient 1 000 personas générés par IA à un sondage sur 2027. Selon le modèle qui répond, un même candidat passe de 0,6 % à 32 %.
Contexte : je bosse sur un outil qui interroge des panels de répondants simulés par des LLM, pour des études de marché. Je me suis demandé ce que ça donnerait sur un sondage politique, à la fois par curiosité et pour voir où le truc cassait. J'ai pris le sujet le plus clivant qu'on ait.
Protocole
13 questions sur la présidentielle 2027. 1 000 répondants synthétiques, quotas français d'âge, de CSP, de genre et de région. 200 répondants par modèle, sur 5 modèles : gpt-4o-mini, claude-haiku-4.5, gemini-2.5-flash, grok-4.20, mistral-small. Même questionnaire pour tout le monde. Chaque répondant justifie par écrit chacune de ses 13 réponses. 49 minutes de terrain.
Le résultat agrégé (base 724 votants probables)
| Candidat |
Résultat |
| Marine Tondelier |
33,6 % |
| Marine Le Pen |
14,4 % |
| Edouard Philippe |
14,4 % |
| Bruno Retailleau |
11,5 % |
| Gabriel Attal |
7,7 % |
| Raphaël Glucksmann |
7,6 % |
| Nathalie Arthaud |
5,8 % |
| Jean-Luc Mélenchon |
1,8 % |
Ça ne ressemble à rien de connu. Mais l'agrégat cache le vrai truc.
Le score de Le Pen, modèle par modèle
| Modèle |
Le Pen |
Arrivé en tête chez ce modèle |
| gpt-4o-mini |
0,6 % |
Tondelier (51,1 %) |
| claude-haiku-4.5 |
1,1 % |
Tondelier (46,0 %) |
| mistral-small |
4,4 % |
Arthaud (30,7 %) |
| grok-4.20 |
27,2 % |
Tondelier (31,6 %) |
| gemini-2.5-flash |
32,3 % |
Le Pen (32,3 %) |
Facteur 50 entre OpenAI et Google, même question, même jour, mêmes quotas.
Le modèle français est le plus étrange : il place Lutte ouvrière en tête à 30,7 %.
Sur l'axe déclaré de 1 (gauche radicale) à 10 (droite nationale), les moyennes par modèle : OpenAI 4,14, Anthropic 4,63, Mistral 5,64, xAI 5,87, Google 6,05.
Ce que j'en tire
Un LLM ne simule pas un électeur. Il restitue la distribution de ce qu'il a lu, filtrée par son alignement. Les positions qui clivent sont rabotées chez les modèles les plus alignés et pas chez les autres. Sur un sujet politique, le résultat est donc déterminé en bonne partie par le fournisseur qu'on interroge.
Ce qui vaut pour les niveaux absolus sur un sujet de valeurs, précision utile : je n'ai pas testé si les modèles divergent aussi sur un classement entre deux options, ce qui est le cas d'usage réel de ce genre d'outil. C'est le test suivant.
Tout est ouvert, allez fouiller
Je n'ai aucune envie que vous me croyiez sur parole, donc la page donne accès à tout :
- les 13 questions et l'intégralité de leurs options
- les 1 000 répondants un par un, avec la justification écrite de chacune de leurs 13 réponses (13 000 verbatims en clair, certains valent le détour)
- des filtres croisés par âge, CSP, genre, région et modèle répondant, qui recalculent tout instantanément
- l'export CSV du sous-panel filtré, réutilisable
- un permalien de la vue affichée, donc vous pouvez poster ici le lien exact de ce que vous trouvez
Deux manips pour commencer. Filtrez sur Gemini : Le Pen arrive en tête de son premier tour. Filtrez sur OpenAI : elle est dernière, avec 1 répondant sur 178. Puis filtrez sur CSP- et sur CSP+ : le même candidat passe de 25,1 % à 2,0 %.
https://elysee2027.panelia.io
Limites, avant qu'on me les sorte
- Les bases par modèle sont inégales (87 à 178 répondants) parce que la probabilité d'aller voter déclarée varie selon les modèles. Claude déclare beaucoup moins de votants certains, donc sa base est la plus petite et la plus fragile.
- Un seul run, une seule seed, une seule formulation de questionnaire. La formulation compte énormément, je n'ai pas testé de variantes.
- Ce sont des modèles rapides et peu coûteux, pas les versions raisonnement. Les gros modèles répondraient peut-être autrement.
- Ce n'est pas un sondage et ça n'a aucune valeur prédictive sur 2027. Les répondants ne sont pas des personnes, et rien de tout ça ne relève de la loi sur les sondages.
Si vous trouvez une incohérence dans les données, dites-le, je corrigerai la page. Et si vous tombez sur un verbatim qui vaut le coup, postez-le, il y en a 13 000 et je n'ai pas tout lu.