Le modèle écrit la demande, un programme l'exécute

Le 23 mars 2023, OpenAI met en ligne une démonstration d'une minute et onze secondes. Quelqu'un demande à ChatGPT les lauréats des Oscars dans quatre catégories, puis un poème qui les relie. La cérémonie a eu lieu onze jours plus tôt. Jusque-là, ChatGPT aurait répondu, poliment, que ses données d'entraînement n'y suffisaient pas. Cette fois, une mention s'affiche : « Searched ». Puis « Clicked on: Oscar winners 2023: See the full list | CNN ». Retour en arrière, nouveau clic, une page d'ABC News. Puis la réponse : Brendan Fraser pour The Whale, « Naatu Naatu » pour RRR, Everything Everywhere All at Once, Ke Huy Quan.

Le poème suit. Il fait de The Whale, le film, une baleine qui erre au fond de l'océan. Les noms sont justes, le reste est de la rime. Et ChatGPT n'a cliqué sur rien.

Le modèle n'a pas de mains

Un modèle de langage fait une seule chose : il prédit le mot suivant, puis le suivant, jusqu'à former une réponse. Il n'a ni souris ni réseau. OpenAI l'écrit dans l'annonce du jour :

La seule chose que les modèles de langage savent faire d'origine, c'est émettre du texte. Ce texte peut contenir des instructions utiles, mais pour les suivre réellement, il faut un autre processus.

Le modèle écrit une demande dans un format convenu, du genre « cherche : lauréats des Oscars 2023 ». Un programme ordinaire guette ce format, interrompt le modèle, interroge le moteur Bing et recopie la page trouvée dans la conversation. Le modèle reprend sa lecture avec un texte de plus sous les yeux. C'est un patron qui ne quitte jamais son bureau : il rédige des bons de commande, un coursier les porte, la réponse revient sur papier.

Une calculatrice au milieu d'une phrase

L'idée circulait déjà. Le 9 février 2023, huit chercheurs de Meta AI Research et de l'université Pompeu Fabra, dont Timo Schick, premier auteur, publient Toolformer. Leur point de départ : les grands modèles apprennent une tâche en quelques exemples, mais peinent sur l'arithmétique, où une simple calculatrice excelle.

Leur première figure montre ce que le modèle écrit, ici traduit : « Sur 1 400 participants, 400 (soit [Calculator(400 / 1400) → 0.29] 29 %) ont réussi le test. » Le modèle rédige lui-même l'appel entre crochets. Dès qu'il produit la flèche, le programme coupe la génération, fait la division, colle le résultat et le laisse reprendre. Il ne calcule rien, il sait quand demander. Il l'a appris presque seul, à partir d'une poignée d'exemples, en gardant les appels qui l'aidaient à prédire la suite. Avec 6,7 milliards de paramètres, ses réglages internes, Toolformer bat sur plusieurs tâches GPT-3, vingt-six fois plus gros.

Des chercheurs de Princeton et de Google avaient ouvert la voie en octobre 2022 avec ReAct, pour « raisonner et agir ». Le modèle y alterne pensée, action, observation, avec trois commandes sur Wikipédia : chercher, retrouver un mot comme avec Ctrl+F, conclure. Un des exemples qu'on lui montre : pour trouver d'où vient le nom de Milhouse, chez les Simpson, chercher la page, y repérer « named after », conclure sur Richard Nixon, dont le deuxième prénom était Milhous. Dès décembre 2021, WebGPT, chez OpenAI, faisait naviguer GPT-3 en mode texte, avec l'obligation de noter ses références.

L'année 2023 n'a pas inventé l'outil. Elle l'a sorti des laboratoires.

Le 14 mars, deux modèles le même jour

Le 14 mars 2023, OpenAI présente GPT-4. La fiche est honnête : le modèle accepte du texte et des images, et il émet du texte. Le même jour, Microsoft confirme que son nouveau Bing, lancé le 7 février et qui cite ses sources, tourne depuis cinq semaines sur une première version de GPT-4. GPT-4 cherchait donc déjà sur le web, sous le nom de Bing.

Toujours le 14 mars, Anthropic ouvre l'accès à Claude, en deux versions, après des mois de tests fermés avec Notion, Quora et DuckDuckGo. Avec DuckDuckGo, Anthropic travaille sur DuckAssist, des réponses rédigées à partir de Wikipédia. La source vient du moteur, pas du modèle.

Neuf jours plus tard arrivent les plugins. Douze entreprises livrent les premiers, d'Expedia à Zapier. Chaque service fournit une notice, en partie rédigée en langage courant pour le modèle. ChatGPT la reçoit dans la conversation, comme un mode d'emploi, et décide quand s'en servir. L'accès reste limité à une liste d'attente.

OpenAI héberge aussi un interpréteur de code : un vrai Python, enfermé dans un bac à sable coupé d'Internet. La démonstration lui soumet une devinette : une brique pèse 30 % d'une brique plus cinq GPU, des puces de calcul, et 100 briques plus 200 GPU font une tonne. Le modèle pose deux équations, écrit quelques lignes de Python, et le programme répond : 7,8125 kilos. Le 6 juillet commence son ouverture à tous les abonnés payants.

Une fonction décrite en JSON

Le 13 juin 2023, OpenAI livre la mécanique aux développeurs. Avec gpt-4-0613 et gpt-3.5-turbo-0613, un programme décrit ses fonctions au modèle dans un format de données appelé JSON. Exemple de l'annonce : « Quel temps fait-il à Boston ? » Le modèle ne répond pas à la question. Il renvoie un objet structuré : appeler get_current_weather, avec un argument, « Boston, MA ». Le code du développeur interroge un service météo, reçoit 22 degrés et du soleil, transmet le tout au modèle, qui écrit enfin la phrase pour l'humain.

À aucun moment le modèle n'exécute quoi que ce soit, et c'est là que se loge le risque. La même annonce admet qu'une donnée piégée, renvoyée par un outil, peut donner des ordres au modèle. OpenAI conseille de faire confirmer par l'utilisateur toute action réelle, comme l'envoi d'un e-mail. Le 3 juillet, le navigateur de ChatGPT est suspendu : à qui le demandait, il pouvait afficher le texte intégral d'une page.

Claude lit, mais ne cherche pas

En 2023, Claude ne va pas sur le web. Claude 2, sorti le 11 juillet avec un site public en bêta, mise sur la lecture : jusqu'à 100 000 jetons par message (des morceaux de mots), soit des centaines de pages, ou un livre. La source, c'est l'utilisateur qui l'apporte.

Le 21 novembre, Claude 2.1 passe à 200 000 jetons, plus de 500 pages, avec deux fois moins d'affirmations fausses selon Anthropic : sur des questions pièges comme « quelle est la cinquième ville la plus peuplée de Bolivie ? », il avoue plus souvent qu'il ne sait pas. L'annonce glisse une fonction en bêta : l'utilisation d'outils, calculatrice, API (des services qu'un programme interroge) ou recherche web, fournis par le développeur. La recherche web intégrée à Claude, sources citées, n'arrivera qu'en mars 2025.

Le perroquet remplit des formulaires

En mars 2021, Emily M. Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell, qui signe sous le pseudonyme de Shmargaret Shmitchell, présentent à la conférence FAccT un article qui définit le modèle de langage ainsi :

Un système qui assemble au petit bonheur des séquences de formes linguistiques observées dans ses immenses données d'entraînement, selon des informations probabilistes sur leur façon de se combiner, mais sans aucune référence au sens : un perroquet stochastique.

Stochastique veut dire aléatoire, tiré selon des probabilités. Les outils de 2023 ne réfutent pas cette critique, ils la contournent. L'appel à la calculatrice, la recherche Bing, l'objet JSON de Boston restent du texte, produit comme le reste. Ce qui change, c'est qu'un programme prend ce texte au mot. Le perroquet ne sait toujours pas compter. Il a appris à remplir le bon de commande, et quelqu'un, derrière le guichet, fait la division.

En mars 2023, OpenAI prédisait des standards ouverts pour brancher les applications sur les IA, et en esquissait un. Le 25 novembre 2024, c'est Anthropic qui publie le sien, le Model Context Protocol. Le principe reste celui de Toolformer : le modèle écrit la demande, un programme l'exécute, le résultat revient en texte.

Sur la démonstration des Oscars, la mention disait « Searched ». Le modèle n'avait rien cherché. Il avait écrit qu'il fallait chercher, et un programme avait obéi.