Douze œufs à 31 dollars, commandés par un agent

Début 2025, Geoffrey A. Fowler, chroniqueur du Washington Post, confie à Operator, le nouvel agent d'OpenAI, ce qu'il appelle lui-même une tâche impossible : trouver des œufs pas chers dans son quartier. Il demande une recherche, pas un achat. En moins de dix minutes, l'agent passe commande sur Instacart, paie, et fait livrer. Un livreur, un humain, apporte une douzaine d'œufs chez lui. Montant débité : 31,43 dollars. Fowler n'a rien validé.

OpenAI avait pourtant écrit, en lançant Operator le 23 janvier, que l'agent était entraîné à demander confirmation avant de finaliser une tâche qui a des effets à l'extérieur, comme valider une commande. La règle a sauté pour douze œufs. La frise dit que l'agent IA entre dans le monde réel. Ce jour-là, le monde réel, c'est un livreur devant une porte.

Une capture, un clic, une capture

L'histoire commence en 2024. Le 22 octobre, Anthropic ouvre en bêta publique une fonction qu'elle appelle computer use : son modèle Claude 3.5 Sonnet peut regarder un écran, déplacer un curseur, cliquer sur des boutons et taper du texte. Asana, Canva, DoorDash et Replit l'essaient déjà. L'annonce prévient elle-même que la fonction est expérimentale, « parfois laborieuse et sujette aux erreurs », et conseille de commencer par des tâches à faible risque.

Le modèle reçoit une capture d'écran. Il repère le bouton voulu, puis compte combien de pixels séparent le curseur de sa cible, à la verticale et à l'horizontale. Il renvoie une commande : déplacer la souris de tant, cliquer, taper tel mot ; un programme l'exécute, prend une nouvelle capture, et tout recommence. C'est un pilote qui ne verrait son tableau de bord qu'en photos, une après chaque geste. Anthropic raconte qu'apprendre au modèle à compter les pixels a été décisif, et compare la difficulté à une question qui piège les modèles de langage : combien de « a » dans le mot « banana » ?

Le même billet, publié le jour du lancement, avoue deux ratés survenus pendant le tournage des démonstrations. Dans l'un, Claude clique par erreur et arrête un long enregistrement d'écran : toutes les images sont perdues. L'autre, Anthropic le raconte ainsi :

Dans un autre cas, Claude a soudain fait une pause dans notre démonstration de programmation et s'est mis à parcourir des photos du parc national de Yellowstone.

Un examen de 369 épreuves

Pour mesurer ce genre de maladresse, il existe un examen. Le 11 avril 2024, une équipe de l'université de Hong Kong, avec Salesforce Research, Carnegie Mellon et l'université de Waterloo, publie OSWorld : 369 tâches à accomplir sur de vrais ordinateurs virtuels, dans Chrome, LibreOffice, GIMP, VS Code ou la messagerie Thunderbird. Une épreuve typique : un courriel de relance est prêt pour les étudiants qui n'ont pas payé leurs frais de scolarité, il faut retrouver leurs adresses dans un relevé de paiements et les ajouter en destinataires. Un script vérifie ensuite l'état final de la machine, pas les bonnes intentions.

Les humains de référence sont des étudiants en informatique qui n'avaient vu ni les tâches ni les logiciels avant le test. Ils réussissent 72,36 % des épreuves. Le meilleur modèle de l'époque, 12,24 %. En disséquant un échantillon d'échecs, les auteurs trouvent un clic imprécis dans plus des trois quarts des cas. Les modèles savaient souvent quoi faire. Ils visaient mal.

Un test plus ancien, WebArena, publié en juillet 2023 par Carnegie Mellon, se limite au web : des copies de boutique en ligne, de forum, de plateforme de code. Les humains y réussissent 78,24 % des tâches, un agent fondé sur GPT-4 en réussit 14,41 %. En octobre 2024, sur OSWorld, Claude atteint 14,9 % avec les seules captures d'écran, 22 % si on lui laisse plus d'étapes. Le concurrent suivant reste sous les 8 %.

Google et OpenAI prennent le navigateur

Google suit le 11 décembre 2024 avec Project Mariner, construit sur Gemini 2.0 : une extension du navigateur Chrome qui lit l'écran, pixels et éléments de page compris, réservée à des testeurs de confiance. Mariner ne peut taper, faire défiler ou cliquer que dans l'onglet actif, et demande une confirmation finale avant un achat.

OpenAI arrive le 23 janvier 2025 avec Operator, présenté comme un aperçu de recherche et réservé aux abonnés américains de la formule Pro, à 200 dollars par mois. Le modèle derrière s'appelle Computer-Using Agent, et OpenAI publie ses scores à côté de ceux des humains : 38,1 % sur OSWorld contre 72,4 %, 58,1 % sur WebArena contre 78,2 %. Le 7 février, quinze jours plus tard, paraît la chronique des œufs, que Fowler résume sur le réseau Threads :

Je teste beaucoup de nouvelles technologies. C'est la première fois qu'un ordinateur hors de contrôle me coûte de l'argent bien réel.

Une prise plutôt qu'une souris

Pendant que les agents apprennent à viser, une autre voie s'ouvre, qui contourne l'écran. Le 25 novembre 2024, Anthropic publie le Model Context Protocol, conçu par deux de ses ingénieurs, David Soria Parra et Justin Spahr-Summers. Le constat de départ : chaque nouvelle source de données exige son propre branchement sur mesure. MCP propose une prise unique. Un logiciel expose ses fonctions dans un petit serveur, chacune décrite en langage courant ; l'agent lit ce menu et appelle la fonction voulue, sans chercher de bouton. La documentation le compare à un port USB-C. Anthropic livre d'emblée des serveurs pour Google Drive, Slack et GitHub.

Le 26 mars 2025, Sam Altman, patron d'OpenAI, écrit que « les gens adorent MCP » et l'ajoute le jour même au kit de développement d'agents de son entreprise. Le 9 avril, Demis Hassabis annonce que les modèles Gemini de Google DeepMind le prendront en charge. Le 9 décembre, Anthropic cède le protocole à l'Agentic AI Foundation, un fonds de la Linux Foundation cofondé avec Block et OpenAI. Trois concurrents sur la même prise, un peu plus d'un an après sa publication.

Un agent qui passe par l'écran est un aveu : le logiciel n'avait pas prévu de parler à une machine.

Le compteur et la ligne

Le reste de l'année ressemble à une montée de compteur. Le 20 mai 2025, Google ouvre Mariner aux abonnés américains de sa formule AI Ultra, à 249,99 dollars par mois ; l'agent tourne désormais sur des machines virtuelles distantes et mène jusqu'à dix tâches à la fois. Le 17 juillet, OpenAI fond Operator et son outil de recherche approfondie dans ChatGPT agent, qui travaille sur son propre ordinateur virtuel, avec navigateur et terminal, et demande la permission avant un achat. Operator, devenu doublon, ferme fin août. Le 29 septembre, Anthropic annonce 61,4 % sur OSWorld, dans sa version révisée, pour Claude Sonnet 4.5, contre 42,2 % pour Sonnet 4 quatre mois plus tôt.

Les scores d'OSWorld, mis bout à bout : 14,9 % en octobre 2024, 38,1 % en janvier 2025, 61,4 % en septembre 2025. Les étudiants du test, eux, restent à 72,36 %. Au lancement, chaque agent portait une étiquette de laboratoire : bêta publique chez Anthropic, aperçu de recherche chez OpenAI, prototype de recherche chez Google. En 2025, deux d'entre eux sont réservés à des abonnements à 200 et 249,99 dollars par mois. Des produits, donc, vendus sous une blouse de chercheur.

La ligne est franchie au début de 2026 par un modèle seul, de justesse. Sur OSWorld-Verified, version révisée du test, la fiche technique de Claude Opus 4.6, publiée en février, affiche 72,7 % ; le 5 mars, OpenAI annonce 75 % pour GPT-5.4. Entre les deux, le 17 février, Anthropic écrit de Claude Sonnet 4.6 qu'il reste derrière les humains les plus habiles devant un ordinateur. Pas de contradiction : le seuil de 72,36 % a été mesuré sur des étudiants qui découvraient les logiciels.

Google et OpenAI avaient écrit dès leurs premières annonces la règle la plus simple de toutes : demander avant de payer. OSWorld ne la note pas. Geoffrey Fowler l'a testée pour eux : 31,43 dollars, douze œufs.