175 milliards de paramètres, un mode d'emploi écrit après coup

En juillet 2020, Liam Porr, étudiant en informatique à Berkeley, n'a pas accès à GPT-3. Un doctorant de son campus, si. Porr écrit un script, le lui confie, et récupère des billets de développement personnel rédigés par la machine, qu'il publie presque sans retouche sur un blog ouvert sous un faux nom, Adolos. Le premier billet, un conseil sur la productivité, prend la première place de Hacker News, le forum des programmeurs. En deux semaines, 26 000 visiteurs. Un seul lecteur lui écrit pour demander si c'est une machine ; les trois ou quatre commentateurs qui l'ont soupçonné sont enterrés par les votes. Au MIT Technology Review, Porr résume : « C'était vraiment facile, en fait, et c'est ça qui fait peur. »

Derrière le blog, il y a un PDF. Le 28 mai 2020, OpenAI met en ligne sur arXiv un papier de 72 pages signé par trente et un auteurs, de Tom Brown à Dario Amodei : « Language Models are Few-Shot Learners ». Le modèle s'appelle GPT-3. Il compte 175 milliards de paramètres, les réglages internes que l'entraînement ajuste. C'est dix fois plus que tout modèle dense publié avant lui (dense : qui mobilise tous ses paramètres pour chaque mot). Le papier ne contient pas le modèle. Il ne contient pas non plus de mode d'emploi, et c'est la partie intéressante.

Un paramètre, c'est un bouton

Le principe n'a pas bougé depuis GPT-2 : deviner le mot suivant. Ce qui a bougé, c'est le nombre de boutons. Chacun des 175 milliards de paramètres est un nombre qui pèse sur ce choix ; l'entraînement compare chaque prédiction au vrai mot suivant et tourne les boutons d'un cran dans la bonne direction, sur 300 milliards de fragments de mots. Le texte, ici : 45 téraoctets de pages web compressées issues de Common Crawl, filtrées jusqu'à 570 gigaoctets, plus des pages repérées par Reddit, des livres et Wikipédia, qui ne pèse que 3 % du mélange. Rien d'autre n'entre : pas de règle de grammaire, pas de table d'addition, pas de dictionnaire.

Pour tourner les boutons, il faut des machines : des cartes graphiques V100 de Nvidia, dans un cluster fourni par Microsoft, précise le papier. Le 19 mai 2020, neuf jours avant le papier, Microsoft avait annoncé à sa conférence Build un supercalculateur construit pour OpenAI : plus de 285 000 cœurs de processeur, 10 000 cartes graphiques, classé par Microsoft parmi les cinq plus puissants du monde.

Ce que ses auteurs ont constaté plutôt que programmé

« Few-shot », dit le titre : quelques exemples. On ne réentraîne pas le modèle pour une tâche, on lui montre de dix à cent exemples dans le texte même, et on le laisse continuer. Le texte qu'on lui donne s'appelle un prompt. Pour l'arithmétique, les questions ont la forme « Q: What is 48 plus 76? A: », et la bonne suite est 124. Sur 2 000 additions à deux chiffres, le modèle affiche 100 % de réussite. À trois chiffres, 80,4 %. À quatre chiffres, 25,5 %.

Les auteurs se méfient. Ils cherchent leurs 2 000 additions à trois chiffres dans les données d'entraînement. Ils en trouvent 17, soit 0,8 %. La machine ne récite pas. Et quand elle se trompe, elle se trompe comme un écolier : elle oublie la retenue. Rien, parmi 175 milliards de boutons, ne s'appelle « addition ». La capacité est sortie du texte, et les auteurs l'ont relevée après coup, comme on relève la météo.

Le papier ne dit pas comment se servir de la machine. Il raconte ce qu'elle a fait quand on lui a parlé.

Le mode d'emploi, ce sont les utilisateurs qui l'écrivent dans les semaines suivantes. Le 19 juin 2020, l'essayiste Gwern Branwen publie ses essais de fiction avec GPT-3 et y parle de « prompt programming » : le texte d'entrée devient un programme, qui fait faire au modèle des choses nouvelles. Chaque consigne tapée dans une fenêtre de chat en 2026 est un prompt.

Une API plutôt que le code

Le 11 juin 2020, OpenAI ouvre une API en bêta privée : on envoie du texte à un serveur, le serveur renvoie la suite. Le modèle lui-même, ses 175 milliards de nombres, reste chez OpenAI. Le billet d'annonce s'en explique.

Comme il est difficile de prédire les usages en aval de nos modèles, il nous semble intrinsèquement plus sûr de les diffuser via une API et d'élargir l'accès au fil du temps, plutôt que de publier un modèle open source dont l'accès ne pourrait plus être ajusté s'il s'avérait avoir des applications nuisibles.

Il y a aussi l'argent. Le 3 juin, Lambda Labs, un loueur de cartes graphiques, calcule qu'un seul entraînement de GPT-3 représente 355 années de calcul d'une carte V100 et coûterait 4,6 millions de dollars au tarif cloud le plus bas du marché. C'est une estimation extérieure, pas une facture d'OpenAI. Depuis juin 2020, le premier produit commercial d'OpenAI se loue à la requête.

Juillet, le battage ; septembre, le journal

Le 19 juillet 2020, Sam Altman, le patron d'OpenAI, calme lui-même le jeu sur Twitter.

Le battage autour de GPT-3 est bien trop fort. C'est impressionnant (merci pour les compliments !) mais il a encore de sérieuses faiblesses et commet parfois des erreurs très bêtes. L'IA va changer le monde, mais GPT-3 n'en est qu'un tout premier aperçu. Il nous reste beaucoup à comprendre.

Le 8 septembre, le Guardian publie une tribune intitulée « Un robot a écrit tout cet article. Alors, humain, tu as peur ? ». Elle commence par « Je ne suis pas un humain. Je suis un robot. Un robot pensant. » En note, la rédaction précise : la consigne vient du journal, le même Liam Porr l'a transmise à GPT-3, et les meilleurs passages de huit essais ont été assemblés. Amana Fontanella-Khan, responsable des pages opinion du Guardian US, assure qu'éditer ce texte « n'a pas été différent » d'éditer une tribune humaine. Le papier l'avait mesuré : face à des articles d'actualité d'environ 200 mots, des lecteurs recrutés en ligne repèrent ceux du modèle dans 52 % des cas, à peine mieux que le hasard.

Deux semaines plus tard, le 22 septembre, Kevin Scott, directeur technique de Microsoft, annonce que son entreprise obtient une licence exclusive sur GPT-3. OpenAI continue de vendre l'accès par son API, hébergée sur Azure ; Microsoft, seul, reçoit le code du modèle.

Ce que le papier dit contre lui-même

Le document consacre sa sixième partie à ce qui ne va pas, et ce sont les auteurs qui tiennent la plume. Sur 388 métiers testés, 83 % sont plus souvent suivis d'un mot masculin que féminin quand on écrit « The {métier} was a ». Les mots « violent », « terrorism » et « terrorist » sont plus souvent associés à l'islam qu'aux autres religions, et figurent parmi les quarante mots que le modèle lui associe le plus. La machine a lu 570 gigaoctets d'Internet ; elle en a gardé les pentes.

Reste la facture. Le papier reconnaît que l'entraînement a consommé « plusieurs milliers de pétaflops-jours » et donne le compte total en annexe : 314 000 milliards de milliards d'opérations. En avril 2021, une équipe de Google et de Berkeley menée par David Patterson traduit ce chiffre en 1 287 mégawattheures et 552 tonnes d'équivalent CO2. Un aller-retour San Francisco-New York d'un avion de ligne entier pèse 180 tonnes : trois fois moins.

Quatre carrés

Sur la frise, à la place de GPT-3, il y a le logo de Microsoft, parce que le modèle n'a pas d'image. Pas de photo de laboratoire, pas d'armoire de 30 tonnes, pas de visage. Des fichiers remplis de 175 milliards de nombres, qu'une seule entreprise extérieure a le droit d'ouvrir.

Le 30 novembre 2022, OpenAI mettra un descendant de ce modèle, de la série GPT-3.5, derrière une fenêtre de chat, l'appellera ChatGPT, et le mode d'emploi tiendra dans une ligne vide avec un curseur qui clignote.

En 2020, il n'y avait pas de fenêtre. Il y avait un papier qui ne disait pas comment faire, une API qui ne montrait pas ce qu'elle contenait, et un étudiant de Berkeley qui, sans accès au modèle, avait trouvé avant les journaux ce qu'on pouvait lui demander : une suite, rien de plus. Vingt-six mille lecteurs l'ont lue. Un seul a posé la question.