Malgré tout leur éclat, les réseaux de neurones artificiels restent toujours aussi impénétrables. À mesure que ces réseaux s’agrandissent, leurs capacités explosent, mais déchiffrer leur fonctionnement interne a toujours été presque impossible. Les chercheurs sont constamment à la recherche de toutes les informations qu’ils peuvent trouver sur ces modèles.

Il y a quelques années, ils en ont découvert un nouveau.

En janvier 2022, des chercheurs d'OpenAI, la société derrière ChatGPT, rapporté que ces systèmes, lorsqu'on les a accidentellement laissés consommer des données pendant beaucoup plus longtemps que d'habitude, ont développé des moyens uniques de résoudre les problèmes. Généralement, lorsque les ingénieurs construisent des modèles d’apprentissage automatique à partir de réseaux neuronaux – composés d’unités de calcul appelées neurones artificiels – ils ont tendance à arrêter l’entraînement à un certain moment, appelé régime de surapprentissage. C’est à ce moment-là que le réseau commence à mémoriser ses données d’entraînement et ne généralise souvent pas à de nouvelles informations invisibles. Mais lorsque l’équipe OpenAI a accidentellement formé un petit réseau bien au-delà de ce point, elle a semblé développer une compréhension du problème qui allait au-delà de la simple mémorisation : elle pouvait soudainement maîtriser n’importe quelle donnée de test.

Les chercheurs ont nommé le phénomène « grokking », un terme inventé par l’auteur de science-fiction Robert A. Heinlein pour signifier comprendre quelque chose « de manière si approfondie que l’observateur devient une partie du processus observé ». Le réseau neuronal surentraîné, conçu pour effectuer certaines opérations mathématiques, avait appris la structure générale des nombres et intériorisé le résultat. Cela avait échoué et était devenu la solution.

"C'était très excitant et suscitait la réflexion", a déclaré Mikhaïl Belkin de l'Université de Californie à San Diego, qui étudie les propriétés théoriques et empiriques des réseaux de neurones. "Cela a donné lieu à beaucoup de travail de suivi."

En effet, d’autres ont reproduit les résultats et même procédé à une ingénierie inverse. Les articles les plus récents ont non seulement clarifié ce que font ces réseaux de neurones lorsqu’ils se développent, mais ont également fourni une nouvelle lentille à travers laquelle examiner leurs entrailles. "La configuration Grokking est comme un bon organisme modèle pour comprendre de nombreux aspects différents de l'apprentissage profond", a déclaré Éric Michaud du Massachusetts Institute of Technology.

Observer l’intérieur de cet organisme est parfois assez révélateur. "Non seulement vous pouvez trouver une belle structure, mais cette belle structure est importante pour comprendre ce qui se passe en interne", a déclaré Neel Nanda, maintenant chez Google DeepMind à Londres.

Au-delà des limites

Fondamentalement, le travail d'un modèle d'apprentissage automatique semble simple : transformer une entrée donnée en une sortie souhaitée. C'est le travail de l'algorithme d'apprentissage de rechercher la meilleure fonction possible pour y parvenir. Tout modèle donné ne peut accéder qu'à un ensemble limité de fonctions, et cet ensemble est souvent dicté par le nombre de paramètres du modèle, qui dans le cas des réseaux neuronaux équivaut à peu près au nombre de connexions entre neurones artificiels.

Au fur et à mesure qu'un réseau s'entraîne, il a tendance à apprendre des fonctions plus complexes, et l'écart entre le résultat attendu et le résultat réel commence à diminuer en raison des données d'entraînement. Mieux encore, cet écart, appelé perte, commence également à diminuer pour les données de test, qui sont de nouvelles données non utilisées dans la formation. Mais à un moment donné, le modèle commence à être surajusté, et tandis que la perte des données d'entraînement continue de diminuer, la perte des données de test commence à augmenter. C'est généralement à ce moment-là que les chercheurs arrêtent de former le réseau.

C’était la sagesse dominante lorsque l’équipe d’OpenAI a commencé à explorer comment un réseau neuronal pouvait faire des mathématiques. Ils utilisaient un petit transformateur — une architecture de réseau qui a récemment révolutionné les grands modèles de langage — pour effectuer différents types d'arithmétique modulaire, dans laquelle vous travaillez avec un ensemble limité de nombres qui se bouclent sur eux-mêmes. Le Modulo 12, par exemple, peut être réalisé sur un cadran d'horloge : 11 + 2 = 1. L'équipe a montré au réseau des exemples d'addition de deux nombres, a ainsi que b, pour produire une sortie, c, en modulo 97 (équivalent à un cadran d'horloge à 97 chiffres). Ils ont ensuite testé le transformateur sur des combinaisons inédites de a ainsi que b pour voir s'il pouvait prédire correctement c.

Comme prévu, lorsque le réseau est entré dans le régime de surapprentissage, la perte des données d'entraînement est devenue proche de zéro (il avait commencé à mémoriser ce qu'il avait vu) et la perte des données de test a commencé à augmenter. Ce n’était pas une généralisation. "Et puis un jour, nous avons eu de la chance", a déclaré la chef d'équipe Alethea Power, parlant en septembre 2022 lors d'une conférence à San Francisco. "Et par chanceux, je veux dire oublieux."

Le membre de l’équipe qui formait le réseau est parti en vacances et a oublié d’arrêter la formation. Alors que cette version du réseau continuait à s'entraîner, elle est soudainement devenue précise sur des données invisibles. Les tests automatiques ont révélé cette précision inattendue au reste de l'équipe, et ils ont vite réalisé que le réseau avait trouvé des moyens intelligents d'organiser les chiffres. a ainsi que b. En interne, le réseau représente les nombres dans un espace de grande dimension, mais lorsque les chercheurs ont projeté ces nombres dans un espace 2D et les ont cartographiés, les nombres ont formé un cercle.

C'était étonnant. L’équipe n’a jamais dit au modèle qu’elle effectuait des calculs modulo 97, ni même ce que signifiait modulo – elle lui a simplement montré des exemples d’arithmétique. Le modèle semblait avoir abouti à une solution analytique plus profonde : une équation qui se généralisait à toutes les combinaisons de a ainsi que b, même au-delà des données d'entraînement. Le réseau était en panne et la précision des données de test a grimpé jusqu'à 100 %. "C'est bizarre", a déclaré Power à son public.

L'équipe a vérifié les résultats en utilisant différentes tâches et différents réseaux. La découverte a tenu.

Des horloges et des pizzas

Mais quelle était l’équation trouvée par le réseau ? Le journal OpenAI ne l'a pas dit, mais le résultat a attiré l'attention de Nanda. "L'un des principaux mystères et des choses ennuyeuses des réseaux de neurones est qu'ils sont très bons dans ce qu'ils font, mais que par défaut, nous n'avons aucune idée de leur fonctionnement", a déclaré Nanda, dont le travail se concentre sur la rétro-ingénierie d'un utilisateur formé. réseau pour déterminer quels algorithmes il a appris.

Nanda était fasciné par la découverte d'OpenAI et il a décidé de démonter un réseau neuronal qui s'était effondré. Il a conçu une version encore plus simple du réseau neuronal OpenAI afin de pouvoir examiner de près les paramètres du modèle tout en apprenant à faire de l'arithmétique modulaire. Il a constaté le même comportement : un surapprentissage qui a cédé la place à une généralisation et à une brusque amélioration de la précision des tests. Son réseau disposait également les numéros en cercle. Cela a demandé quelques efforts, mais Nanda a finalement compris pourquoi.

Tandis qu'il représentait les nombres sur un cercle, le réseau ne comptait pas simplement les chiffres comme un enfant de maternelle regardant une horloge : il effectuait des manipulations mathématiques sophistiquées. En étudiant les valeurs des paramètres du réseau, Nanda et ses collègues ont révélé qu'il ajoutait les nombres d'horloge en effectuant des « transformations de Fourier discrètes » sur eux – en transformant les nombres à l'aide de fonctions trigonométriques telles que les sinus et les cosinus, puis en manipulant ces valeurs à l'aide d'identités trigonométriques pour arriver à la solution. C’était du moins ce que faisait son réseau particulier.

Lorsqu'une équipe du MIT suivi Sur le travail de Nanda, ils ont montré que les réseaux de neurones grokking ne découvrent pas toujours cet algorithme « d'horloge ». Parfois, les réseaux trouvent plutôt ce que les chercheurs appellent l’algorithme « pizza ». Cette approche imagine une pizza divisée en tranches et numérotées dans l'ordre. Pour additionner deux nombres, imaginez dessiner des flèches depuis le centre de la pizza jusqu'aux nombres en question, puis calculer la ligne qui coupe l'angle formé par les deux premières flèches. Cette ligne passe par le milieu d'une tranche de pizza : Le numéro de la tranche est la somme des deux nombres. Ces opérations peuvent également être écrites en termes de manipulations trigonométriques et algébriques des sinus et cosinus de a ainsi que b, et ils sont théoriquement aussi précis que l'approche de l'horloge.

"Les algorithmes d'horloge et de pizza ont tous deux cette représentation circulaire", a déclaré Ziming Liu, membre de l'équipe du MIT. « Mais… la façon dont ils exploitent ces sinus et cosinus est différente. C'est pourquoi nous les appelons différents algorithmes.

Et ce n’était toujours pas tout. Après avoir entraîné de nombreux réseaux à faire des mathématiques modulo, Liu et ses collègues ont découvert qu'environ 40 % des algorithmes découverts par ces réseaux étaient des variétés d'algorithmes de pizza ou d'horloge. L'équipe n'a pas réussi à décrypter ce que font les réseaux le reste du temps. Pour les algorithmes de pizza et d’horloge, « il se trouve qu’ils trouvent quelque chose que nous, les humains, pouvons interpréter », a déclaré Liu.

Et quel que soit l’algorithme qu’un réseau apprend lorsqu’il rencontre un problème, il est encore plus puissant en termes de généralisation que ne le pensaient les chercheurs. Lorsqu'une équipe de l'Université du Maryland alimenté un simple réseau de neurones données d'entraînement avec des erreurs aléatoires, le réseau s'est d'abord comporté comme prévu : surajusté les données d'entraînement, erreurs et tout, et fonctionne mal avec des données de test non corrompues. Cependant, une fois que le réseau a commencé à répondre correctement aux questions du test, il a pu produire des réponses correctes même pour les mauvaises entrées, oubliant les réponses incorrectes mémorisées et généralisant même à ses données d'entraînement. « La tâche du grokking est en fait assez résistante à ce type de corruption », a déclaré Darshil Doshi, l'un des auteurs de l'article.

Bataille pour le contrôle

En conséquence, les chercheurs commencent maintenant à comprendre le processus qui conduit à la collecte de données par un réseau. Nanda considère l'apparente soudaineté extérieure du grokking comme le résultat d'une transition interne progressive de la mémorisation à la généralisation, qui utilise deux algorithmes différents au sein du réseau neuronal. Lorsqu'un réseau commence à apprendre, dit-il, il découvre d'abord l'algorithme de mémorisation le plus facile ; cependant, même si l'algorithme est plus simple, il nécessite des ressources considérables, car le réseau doit mémoriser chaque instance des données d'entraînement. Mais même pendant la mémorisation, des parties du réseau neuronal commencent à former des circuits qui mettent en œuvre la solution générale. Les deux algorithmes se disputent les ressources lors de la formation, mais la généralisation finit par l'emporter si le réseau est formé avec un ingrédient supplémentaire appelé régularisation.

« La régularisation fait lentement dériver la solution vers la solution de généralisation », a déclaré Liu. Il s'agit d'un processus qui réduit la capacité fonctionnelle du modèle, c'est-à-dire la complexité de la fonction que le modèle peut apprendre. À mesure que la régularisation réduit la complexité du modèle, l’algorithme généralisateur, moins complexe, finit par triompher. "La généralisation est plus simple pour le même niveau de performance", a déclaré Nanda. Enfin, le réseau neuronal rejette l’algorithme de mémorisation.

Ainsi, alors que la capacité retardée de généralisation semble apparaître soudainement, les paramètres internes du réseau apprennent progressivement l'algorithme de généralisation. Ce n'est que lorsque le réseau a à la fois appris l'algorithme de généralisation et supprimé complètement l'algorithme de mémorisation que vous obtenez un grokking. "Il est possible que des choses qui semblent soudaines se produisent graduellement sous la surface", a déclaré Nanda - un problème qui a également été soulevé dans autres recherches sur l'apprentissage automatique.

Malgré ces avancées, il est important de se rappeler que la recherche sur le grokking en est encore à ses balbutiements. Jusqu’à présent, les chercheurs n’ont étudié que des réseaux extrêmement petits, et il n’est pas clair si ces résultats s’appliqueront à des réseaux plus grands et plus puissants. Belkin prévient également que l'arithmétique modulaire n'est « qu'une goutte d'eau dans l'océan » comparée à toutes les différentes tâches effectuées par les réseaux neuronaux d'aujourd'hui. L'ingénierie inverse de la solution d'un réseau neuronal pour de telles mathématiques pourrait ne pas suffire à comprendre les principes généraux qui conduisent ces réseaux vers la généralisation. "C'est formidable d'étudier les arbres", a déclaré Belkin. "Mais nous devons aussi étudier la forêt."

Néanmoins, la capacité de scruter l’intérieur de ces réseaux et de les comprendre analytiquement a d’énormes implications. Pour la plupart d'entre nous, les transformées de Fourier et les arcs de cercle bissecteurs sont une façon très étrange de faire une addition modulo - les neurones humains ne pensent tout simplement pas comme ça. "Mais si vous êtes construit à partir de l'algèbre linéaire, il est tout à fait logique de procéder ainsi", a déclaré Nanda.

«Ces étranges cerveaux [artificiels] fonctionnent différemment du nôtre», a-t-il déclaré. «[Ils] ont leurs propres règles et structures. Nous devons apprendre à penser comme pense un réseau neuronal.