La première place passe neuf fois d'un labo à l'autre

Le mardi 26 mars 2024, à 14 h 42 heure de Californie, LMSYS horodate une nouvelle version de son classement des modèles de langage. En première ligne apparaît un nom inédit : claude-3-opus-20240229, note 1 253. Juste en dessous, gpt-4-1106-preview, note 1 251. Depuis l'arrivée de GPT-4 dans le tableau, en mai 2023, une de ses versions avait toujours tenu la tête. Le développeur Nick Dobos résume la nouvelle sur X : « Le roi est mort. » Puis, pour ceux qui n'auraient pas suivi : « RIP GPT-4. »

Le roi est mort, mais pas tout à fait enterré. Deux points séparent les deux modèles, et les marges d'erreur des trois premiers se chevauchent. LMSYS leur attribue donc le même rang : premiers, à trois. Anthropic, fondée en 2021 par d'anciens d'OpenAI, partage le trône plus qu'elle ne l'occupe. Simon Willison, chercheur indépendant, en mesure la portée.

Pour la première fois, les meilleurs modèles disponibles, Opus pour les tâches avancées, Haiku pour le coût et l'efficacité, viennent d'un fournisseur qui n'est pas OpenAI.

Un tournoi à l'aveugle

Chatbot Arena est tenu par LMSYS, un collectif d'étudiants et d'enseignants de Berkeley, de San Diego et de Carnegie Mellon. Un visiteur tape une question. Deux réponses anonymes s'affichent côte à côte. Il vote pour la meilleure, selon ses propres critères, puis découvre qui il vient de départager. Le 26 mars 2024, le classement repose sur près de 480 000 duels de ce genre. Fin décembre, sur près de 2,5 millions. Le site existe toujours, rebaptisé LMArena en septembre 2024, puis Arena en janvier 2026.

Les votes deviennent des notes, comme aux échecs. Le calcul, un modèle de Bradley-Terry cousin du classement Elo, traduit chaque écart en probabilité de victoire : avec 400 points d'avance, un modèle gagne dix fois plus souvent qu'il ne perd. Les notes sont ancrées sur un modèle de référence, ce qui permet de les comparer d'un mois sur l'autre. Avec deux points d'avance, Opus gagnerait, selon ce barème, 50,3 % de ses duels face à GPT-4. Un pile ou face, joué avec une pièce à peine bombée.

Pas un mois sans nouveau modèle

Ce sacre n'est qu'un épisode. Le 15 février, Google présente Gemini 1.5 Pro, capable de lire d'un coup un million de jetons, ces morceaux de mots que les modèles manipulent, soit plus de 700 000 mots, en accès restreint. Le 26 février, la société parisienne Mistral AI sort Mistral Large et le présente comme le deuxième modèle au monde accessible par API, c'est-à-dire par programme, derrière GPT-4. Le 4 mars arrive la famille Claude 3, en trois tailles : Haiku, Sonnet, Opus. Dans l'arène du 26 mars, Mistral Large n'a que la neuvième note.

Puis les sorties s'enchaînent. Le 18 avril, Meta publie Llama 3. Le 13 mai, OpenAI présente GPT-4o, « o » pour « omni », et l'ouvre aux utilisateurs gratuits de ChatGPT. Le jour même, le chercheur William Fedus reconnaît qu'OpenAI en testait déjà une version dans l'arène, sous un faux nez : im-also-a-good-gpt2-chatbot. Le 20 juin, Anthropic sort Claude 3.5 Sonnet : plus fort qu'Opus selon ses tests, deux fois plus rapide, cinq fois moins cher.

Trois labos se passent la couronne

Dans l'arène, ces sorties se lisent comme un échange de fond de court. Le règne d'Anthropic dure à peine plus de deux semaines : le 11 avril, une version de GPT-4 Turbo datée du 9 avril reprend la tête. GPT-4o s'y installe à la mi-mai, avec 37 points d'avance sur le deuxième. Le 1er août, LMSYS annonce que Google occupe la première place pour la première fois, avec une version expérimentale de Gemini 1.5 Pro. Moins de deux semaines plus tard, OpenAI la reprend. En novembre, la tête change trois fois en une semaine. Google termine l'année devant, avec Gemini-Exp-1206.

Sur les 70 versions du classement publiées par LMSYS en 2024, le modèle en tête change une quinzaine de fois, et le laboratoire en tête, neuf fois. Toujours entre les trois mêmes : OpenAI, Anthropic, Google. Meta, avec Llama 3.1 405B, un modèle de 405 milliards de paramètres, ces nombres que l'entraînement règle, plafonne à la cinquième note fin juillet.

Le jeton à prix cassé

Le chiffre le plus net de l'année est un prix. En mars 2023, GPT-4 coûtait 30 dollars par million de jetons envoyés et 60 dollars par million de jetons produits. Le 18 juillet, GPT-4o mini descend à 15 cents et 60 cents. Deux cents fois moins cher que GPT-4 en entrée, pour 82 % au test MMLU contre 86,4 %. Dans le classement du 29 juillet, il partage même statistiquement la première place avec GPT-4o.

Les modèles ouverts suivent. Le 23 juillet, Meta diffuse les poids de Llama 3.1 405B, c'est-à-dire les valeurs finales de ses paramètres. Le modèle a été entraîné sur plus de 16 000 puces graphiques H100 de Nvidia, et Meta le présente comme « le premier modèle d'IA open source de niveau frontière ». L'étiquette « open source » se discute ; la note de 2025 dit pourquoi.

Un QCM arrivé au plafond

Les annonces, elles, citent MMLU. Publié en 2020 par Dan Hendrycks et ses coauteurs, ce test aligne 15 908 questions à choix multiple dans 57 matières, du droit international à la virologie, avec quatre réponses possibles : le hasard y obtient 25 %. Les auteurs estiment qu'un expert de chaque domaine atteindrait environ 89,8 %. GPT-4 annonçait 86,4 % en mars 2023, GPT-4o revendique 88,7 % en mai 2024, Claude 3.5 Sonnet et Llama 3.1 405B tournent autour de 88 %. La course se joue sur le dernier point.

Or ce point ne veut plus dire grand-chose. En juin 2024, une équipe menée par Aryo Pradipta Gema relit 3 000 questions à la main : 57 % des questions de virologie analysées contiennent une erreur, et, selon la version révisée de janvier 2025, environ 6,5 % du test entier. Quand le corrigé se trompe, on ne marque le point qu'en se trompant avec lui. S'y ajoute la contamination, ces questions qui fuient dans les textes d'entraînement. En mai, Scale AI publie GSM1k, 1 250 problèmes d'arithmétique scolaire calqués sur un test connu, GSM8k. Certains modèles y perdent jusqu'à 13 % de précision, signe d'une récitation partielle ; les modèles de pointe, eux, ne perdent presque rien. En septembre, OpenAI l'écrit noir sur blanc :

Les modèles de pointe récents réussissent si bien MATH et GSM8K que ces benchmarks ne permettent plus de les départager.

L'arène n'échappe pas au soupçon. Fin août, LMSYS publie une analyse : le style pèse dans les votes, avec la longueur des réponses, les titres, le gras, les listes. Une fois ce style neutralisé dans le calcul, GPT-4o mini recule de la sixième à la onzième place, et Claude 3.5 Sonnet monte de la sixième à la quatrième.

Penser plus longtemps, payer plus cher

Le 12 septembre, OpenAI déplace la course. Ses modèles o1 « réfléchissent avant de répondre » : avant d'écrire, ils produisent une longue chaîne de raisonnement interne, que l'utilisateur ne voit pas. À l'AIME 2024, un concours de mathématiques pour les meilleurs lycéens américains, GPT-4o résout en moyenne 12 % des problèmes ; o1, 74 % du premier coup. Selon OpenAI, les performances montent avec le temps de réflexion accordé : le levier n'est plus seulement l'entraînement, c'est aussi la patience.

Cette patience a un prix. Au lancement, les abonnés payants de ChatGPT ont droit à 30 messages par semaine avec o1-preview. Le 5 décembre, OpenAI lance ChatGPT Pro : 200 dollars par mois pour un accès illimité à o1. L'année où le jeton s'est effondré se termine sur un abonnement à 200 dollars.

Dans la version du classement datée du 29 décembre, Claude 3 Opus a une note de 1 247, six points de moins qu'au jour de son sacre. Quarante-cinq modèles ont désormais une meilleure note. Le roi de mars n'a pas perdu son niveau. C'est le terrain qui a monté.