Une licorne des Andes et neuf mois sous clé

Le jeudi 14 février 2019, un billet paraît sur le blog d'OpenAI. Le premier exemple qu'il montre commence par deux phrases écrites à la main : des scientifiques ont découvert, dans une vallée reculée des Andes, un troupeau de licornes, et ces licornes parlent un anglais parfait. La suite est écrite par une machine. Elle baptise l'espèce « licorne d'Ovide », à cause de sa corne distinctive, précise que ces animaux à quatre cornes et à la robe blanc argenté étaient inconnus de la science, puis cite un certain Dr Jorge Pérez, de l'université de La Paz. Neuf paragraphes, le meilleur de dix essais. Et plus haut, dans le même billet, une phrase qu'on n'attendait pas d'un laboratoire qui s'appelle « Open » : en raison de nos inquiétudes sur les usages malveillants de cette technologie, nous ne publions pas le modèle entraîné.

Le modèle s'appelle GPT-2. Le jour même, le Guardian titre que ses créateurs le jugent peut-être « trop dangereux pour être publié ». Wired parle du générateur de texte « trop dangereux pour être rendu public ». L'adjectif n'est pas dans le billet d'OpenAI. Il vient des titres de presse, et il va coller au modèle pendant neuf mois.

Prédire le mot suivant, rien d'autre

GPT-2 ne sait faire qu'une chose : étant donné tous les mots précédents d'un texte, deviner le suivant. C'est le clavier prédictif d'un téléphone poussé jusqu'à l'absurde, avec 1,5 milliard de réglages, les « paramètres », chacun corrigé à chaque erreur pendant l'entraînement. Quand le mécanisme devient assez gros et lit assez de texte, deviner le mot suivant oblige à retenir de la grammaire, des faits, des styles, et le modèle se met à résumer, traduire ou répondre à des questions, maladroitement, sans qu'on le lui ait appris. Le papier, signé notamment par Alec Radford, Dario Amodei et Ilya Sutskever, s'intitule « Language Models are Unsupervised Multitask Learners ». Sur sept des huit jeux de test de référence, GPT-2 fait mieux que les modèles entraînés exprès sur chacun d'eux, sans avoir été entraîné sur leurs données.

Quarante gigaoctets triés par Reddit

Le texte d'entraînement s'appelle WebText. L'équipe a suivi les liens sortants postés sur Reddit qui avaient reçu au moins 3 points de karma, « un indicateur approximatif que d'autres utilisateurs ont trouvé le lien intéressant, instructif ou simplement drôle ». Quarante-cinq millions de liens ; dans la version utilisée, arrêtée à décembre 2017, un peu plus de 8 millions de documents après nettoyage, 40 gigaoctets de texte, quelque 35 000 exemplaires de Moby Dick selon le calcul du Guardian. Tous les articles de Wikipédia ont été retirés, parce que l'encyclopédie sert déjà à construire les jeux de test. Le modèle qui inquiétait les rédactions n'avait jamais lu Wikipédia. Sa culture, c'était ce que Reddit avait jugé digne d'un vote.

Ce que « dangereux » voulait dire en 2019

Le billet dresse la liste des usages redoutés : générer de faux articles de presse, usurper des identités en ligne, automatiser les contenus injurieux ou falsifiés sur les réseaux sociaux, le spam et l'hameçonnage. Le Guardian rapporte qu'OpenAI a préparé une variante ajustée qui produit à l'infini des avis de produits positifs, ou négatifs, au choix. En 2019, le danger s'appelle fausses nouvelles et spam.

Si on ne peut pas anticiper toutes les capacités d'un modèle, il faut le pousser pour voir ce qu'il sait faire. Il y a beaucoup plus de gens que nous qui sont meilleurs pour imaginer ce qu'il peut faire de malveillant.

C'est Jack Clark, responsable des politiques publiques d'OpenAI, dans le Guardian du 14 février. En attendant, le laboratoire publie une version réduite, annoncée à 117 millions de paramètres (124 après recomptage), « à titre d'expérience de divulgation responsable », et promet d'en reparler publiquement dans six mois. Le billet admet que d'autres ont « la capacité technique de reproduire » le résultat : il s'agit de gagner du temps.

Le laboratoire « ouvert » qui ferme la porte

La discussion a lieu, et elle est rude. Anima Anandkumar, professeure à Caltech et directrice de la recherche en apprentissage automatique chez Nvidia, qualifie la décision sur Twitter de « Malicious BS », puis explique au Verge, le 21 février, que la rétention « met les universitaires en net désavantage ». Delip Rao, spécialiste de la détection de fausses nouvelles, juge la menace exagérée : la désinformation se fabrique en copiant-collant des morceaux d'articles, « pas besoin d'apprentissage automatique sophistiqué pour ça ».

Le calendrier n'arrange rien. OpenAI s'était présentée, le 11 décembre 2015, comme une société de recherche à but non lucratif, « affranchie du besoin de générer un retour financier », forte d'un milliard de dollars de promesses de dons. Le 11 mars 2019, moins d'un mois après GPT-2, elle crée OpenAI LP, une structure « à profit plafonné » où les premiers investisseurs peuvent récupérer jusqu'à cent fois leur mise. Le 22 juillet, Microsoft y investit un milliard de dollars et devient son fournisseur exclusif de cloud. Le modèle retenu au nom du bien commun est aussi la vitrine d'un laboratoire qui change de modèle économique. Les deux choses peuvent être vraies en même temps ; elles ont été lues ensemble.

Deux étudiants et 50 000 dollars de crédits

La porte s'entrouvre par paliers. Le 3 mai 2019, OpenAI met en ligne le modèle moyen, annoncé à 345 millions de paramètres. Un ingénieur canadien, Adam King, ouvre dans la foulée TalkToTransformer.com, où n'importe qui tape un début de phrase et regarde la machine continuer. Le 20 août, six mois après la promesse, OpenAI publie le grand modèle, 774 millions, et dit avoir échangé avec « plus de cinq groupes » qui ont reproduit GPT-2.

Deux jours plus tard, le jeudi 22 août, Aaron Gokaslan, 23 ans, et Vanya Cohen, 24 ans, tout juste diplômés d'un master à l'université Brown, publient sur Medium « OpenGPT-2 : nous avons répliqué GPT-2 parce que vous le pouvez aussi ». Un modèle de 1,5 milliard de paramètres, téléchargeable par tous. Coût estimé : 50 000 dollars de calcul, offerts par Google sous forme de crédits aux institutions académiques. Leur argument : la stratégie de rétention supposait ces modèles difficiles à reproduire et réservés à un savoir rare ; deux étudiants sans expérience des modèles de langue venaient de prouver le contraire.

Un secret que deux étudiants percent avec 50 000 dollars de crédits cloud s'appelle un délai.

Le 5 novembre, tout est en ligne

Le mardi 5 novembre 2019, OpenAI publie le modèle complet, 1,5 milliard de paramètres, poids (la valeur réglée de chaque paramètre) et code, avec un détecteur qui repère ses textes dans environ 95 % des cas, un score jugé insuffisant pour s'en servir seul. Les lecteurs recrutés par Cornell donnent au grand modèle une note de crédibilité de 6,91 sur 10, à peine plus que les 6,72 du modèle de 774 millions : l'écart ne justifiait plus de le retenir. Le centre sur le terrorisme et l'extrémisme de l'institut Middlebury a montré qu'on pouvait l'ajuster pour produire de la propagande suprémaciste, marxiste, djihadiste ou anarchiste. Et OpenAI n'a vu « aucune preuve solide d'usage malveillant ». Des modèles plus gros sont sortis depuis août ; le laboratoire est allé au bout de son calendrier pour offrir un cas d'école.

D'autres notes de cette frise prennent le relais. GPT-3, en 2020, ne sera jamais publié : on y accède par une API, une porte d'entrée réservée aux programmes, sur liste d'attente. ChatGPT ouvre le 30 novembre 2022. Le laboratoire qui avait gardé GPT-2 sous clé par crainte du spam a fini par mettre un générateur de texte dans la poche de tout le monde.

Sur Hugging Face, la plus petite version de GPT-2 se télécharge sous licence MIT : 15,5 millions de téléchargements sur trente jours au 4 octobre 2026. La version « dangereuse », celle à 1,5 milliard, plafonne à 80 000 sur la même période. Elle est devenue trop petite pour inquiéter qui que ce soit. N'importe qui peut lui soumettre les deux phrases sur les licornes des Andes et lire ce qu'elle invente. En 2019, c'était une menace. En 2026, c'est un sujet de travaux pratiques.