Welke film beschrijven deze emoji's?

Die prompt was een van de 204 taken die vorig jaar werden gekozen om het vermogen van verschillende grote taalmodellen (LLM's) te testen - de rekenmachines achter AI-chatbots zoals ChatGPT. De eenvoudigste LLM's produceerden surrealistische reacties. "De film is een film over een man die een man is die een man is", begon iemand. Modellen met gemiddelde complexiteit kwamen dichterbij, gissen De Emoji-film. Maar het meest complexe model heeft het in één keer goed gedaan: Finding Nemo.

"Ondanks dat ik probeer verrassingen te verwachten, ben ik verbaasd over de dingen die deze modellen kunnen doen," zei Ethan Dyer, een computerwetenschapper bij Google Research die hielp bij het organiseren van de test. Het is verrassend omdat deze modellen zogenaamd één richtlijn hebben: een reeks tekst als invoer accepteren en voorspellen wat er daarna komt, keer op keer, puur op basis van statistieken. Computerwetenschappers verwachtten dat opschalen de prestaties van bekende taken zou verbeteren, maar ze hadden niet verwacht dat de modellen plotseling zoveel nieuwe, onvoorspelbare taken aan zouden kunnen.

Recent onderzoek, zoals dat waar Dyer aan werkte, heeft onthuld dat LLM's honderden "emergente" vaardigheden kunnen voortbrengen - taken die grote modellen kunnen voltooien en kleinere modellen niet, waarvan vele weinig te maken lijken te hebben met het analyseren van tekst. Ze variëren van vermenigvuldiging tot het genereren van uitvoerbare computercode tot, blijkbaar, het decoderen van films op basis van emoji's. Nieuwe analyses suggereren dat er voor sommige taken en sommige modellen een drempel van complexiteit is waarboven de functionaliteit van het model omhoog schiet. (Ze suggereren ook een donkere keerzijde: naarmate ze complexer worden, onthullen sommige modellen nieuwe vooroordelen en onnauwkeurigheden in hun antwoorden.)

"Dat taalmodellen dit soort dingen kunnen doen, werd nooit besproken in de literatuur die ik ken," zei Rishi Bomasani, een computerwetenschapper aan de Stanford University. Vorig jaar hielp hij met samenstellen een lijst van tientallen opkomende gedragingen, waaronder een aantal geïdentificeerd in het project van Dyer. Die lijst gaat door groeien.

Nu racen onderzoekers niet alleen om extra opkomende vaardigheden te identificeren, maar ook om erachter te komen waarom en hoe ze überhaupt voorkomen - in wezen proberen ze onvoorspelbaarheid te voorspellen. Inzicht in opkomst kan antwoorden opleveren op diepe vragen rond AI en machine learning in het algemeen, zoals of complexe modellen echt iets nieuws doen of gewoon heel goed worden in statistieken. Het kan onderzoekers ook helpen potentiële voordelen te benutten en opkomende risico's te beperken.

"We weten niet hoe we moeten bepalen in welk soort toepassing de kans op schade zich zal voordoen, soepel of onvoorspelbaar," zei Diepe Ganguli, een computerwetenschapper bij de AI-startup Anthropic.

De opkomst van opkomst

Biologen, natuurkundigen, ecologen en andere wetenschappers gebruiken de term 'opkomend' om zelforganiserend, collectief gedrag te beschrijven dat optreedt wanneer een grote verzameling dingen als één geheel fungeert. Combinaties van levenloze atomen doen levende cellen ontstaan; watermoleculen creëren golven; gemompel van spreeuwen schiet door de lucht in veranderende maar herkenbare patronen; cellen laten spieren bewegen en harten kloppen. Cruciaal is dat opkomende vaardigheden zich voordoen in systemen die veel individuele onderdelen bevatten. Maar onderzoekers zijn pas sinds kort in staat om deze vaardigheden in LLM's te documenteren, aangezien die modellen tot enorme omvang zijn gegroeid.

Taalmodellen bestaan ​​al tientallen jaren. Tot ongeveer vijf jaar geleden waren de krachtigste gebaseerd op wat een terugkerend neuraal netwerk wordt genoemd. Deze nemen in wezen een reeks tekst en voorspellen wat het volgende woord zal zijn. Wat een model "recurrent" maakt, is dat het leert van zijn eigen output: de voorspellingen worden teruggekoppeld naar het netwerk om toekomstige prestaties te verbeteren.

In 2017 introduceerden onderzoekers van Google Brain een nieuw soort architectuur genaamd a transformator. Terwijl een terugkerend netwerk een zin woord voor woord analyseert, verwerkt de transformator alle woorden tegelijkertijd. Dit betekent dat transformatoren grote hoeveelheden tekst parallel kunnen verwerken.

Transformers maakten een snelle opschaling van de complexiteit van taalmodellen mogelijk door onder meer het aantal parameters in het model te vergroten. De parameters kunnen worden gezien als verbindingen tussen woorden, en modellen verbeteren door deze verbindingen aan te passen terwijl ze tijdens de training door de tekst bewegen. Hoe meer parameters in een model, hoe nauwkeuriger het verbanden kan leggen en hoe dichter het komt bij het redelijk nabootsen van menselijke taal. Zoals verwacht, een 2020 analyse door OpenAI-onderzoekers ontdekten dat modellen nauwkeuriger en beter kunnen naarmate ze groter worden.

Maar het debuut van LLM's bracht ook iets heel onverwachts. Veel dingen. Met de komst van modellen zoals GPT-3, dat 175 miljard parameters heeft, of Google's PaLM, dat kan worden opgeschaald tot 540 miljard, begonnen gebruikers steeds meer opkomend gedrag te beschrijven. Eén DeepMind-engineer zelfs gerapporteerd in staat zijn om ChatGPT ervan te overtuigen dat het een Linux-terminal was en het een eenvoudige wiskundige code te laten uitvoeren om de eerste 10 priemgetallen te berekenen. Opmerkelijk genoeg kon het de taak sneller voltooien dan dezelfde code die op een echte Linux-machine draait.

Net als bij de filmemoji-taak hadden onderzoekers geen reden om te denken dat een taalmodel dat is gebouwd om tekst te voorspellen, op overtuigende wijze een computerterminal zou imiteren. Veel van deze opkomende gedragingen illustreren "zero-shot" of "few-shot" leren, wat het vermogen van een LLM beschrijft om problemen op te lossen die het nog nooit - of zelden - heeft gezien. Dit is al lang een doel in onderzoek naar kunstmatige intelligentie, zei Ganguli. Hij liet zien dat GPT-3 problemen kon oplossen zonder enige expliciete trainingsgegevens in een zero-shot-omgeving, zei hij, "leidde me ertoe om te stoppen met wat ik aan het doen was en meer betrokken te raken."

Hij was niet alleen. Een groot aantal onderzoekers, die de eerste hints detecteren dat LLM's verder zouden kunnen reiken dan de beperkingen van hun trainingsgegevens, streven naar een beter begrip van hoe opkomst eruit ziet en hoe het gebeurt. De eerste stap was om het grondig te documenteren.

Voorbij imitatie

In 2020 voorspelden Dyer en anderen bij Google Research dat LLM's transformerende effecten zouden hebben - maar wat die effecten zouden zijn, bleef een open vraag. Dus vroegen ze de onderzoeksgemeenschap om voorbeelden te geven van moeilijke en diverse taken om de uiterste grenzen in kaart te brengen van wat een LLM zou kunnen doen. Deze inspanning werd het project Beyond the Imitation Game Benchmark (BIG-bench) genoemd, verwijzend naar de naam van Alan Turing's 'imitatiespel', een test of een computer op een overtuigend menselijke manier op vragen kan reageren. (Dit zou later bekend worden als de Turing-test.) De groep was vooral geïnteresseerd in voorbeelden waarin LLM's plotseling nieuwe vaardigheden bereikten die voorheen volledig afwezig waren.

"Hoe we deze scherpe overgangen begrijpen, is een geweldige onderzoeksvraag," zei Dyer.

Zoals je zou verwachten, verbeterden de prestaties van een model bij sommige taken soepel en voorspelbaar naarmate de complexiteit toenam. En op andere taken leverde het opschalen van het aantal parameters geen verbetering op. Maar voor ongeveer 5% van de taken vonden de onderzoekers wat zij "doorbraken" noemden - snelle, dramatische sprongen in prestaties op een bepaalde drempelschaal. Die drempel varieerde op basis van de taak en het model.

Modellen met relatief weinig parameters - slechts een paar miljoen - konden bijvoorbeeld problemen met driecijferige optelling of tweecijferige vermenigvuldiging niet met succes voltooien, maar voor tientallen miljarden parameters piekte de nauwkeurigheid in sommige modellen. Soortgelijke sprongen deden zich voor bij andere taken, waaronder het decoderen van het Internationaal Fonetisch Alfabet, het ontcijferen van de letters van een woord, het identificeren van aanstootgevende inhoud in alinea's van Hinglish (een combinatie van Hindi en Engels) en het genereren van een vergelijkbaar Engels equivalent van Kiswahili-spreekwoorden.

Maar de onderzoekers realiseerden zich al snel dat de complexiteit van een model niet de enige drijvende factor was. Sommige onverwachte mogelijkheden kunnen worden overgehaald uit kleinere modellen met minder parameters - of getraind op kleinere datasets - als de data van voldoende hoge kwaliteit zijn. Bovendien beïnvloedde de formulering van een vraag de nauwkeurigheid van de reactie van het model. Toen Dyer en zijn collega's de filmemoji-taak bijvoorbeeld in een meerkeuzeformaat plaatsten, was de nauwkeurigheidsverbetering minder een plotselinge sprong en meer een geleidelijke toename met meer complexiteit. En vorig jaar, in een paper gepresenteerd op NeurIPS, de vlaggenschipbijeenkomst van het veld, lieten onderzoekers van Google Brain zien hoe een model dat ertoe werd aangezet zichzelf uit te leggen (een capaciteit die gedachtegangredenering wordt genoemd) een wiskundig woordprobleem correct kon oplossen, terwijl hetzelfde model zonder die prompt dat niet kon.

Yi Tay, een wetenschapper bij Google Brain die werkte aan het systematisch onderzoeken van doorbraken, wijst op recent werk dat suggereert dat het oproepen van een kettingreactie de schaalcurven verandert en daarmee het punt waar opkomst plaatsvindt. In hun NeurIPS-paper toonden de Google-onderzoekers aan dat het gebruik van chain-of-thought-prompts opkomend gedrag kan uitlokken dat niet in de BIG-bench-studie is geïdentificeerd. Dergelijke prompts, die het model vragen om zijn redenering uit te leggen, kunnen onderzoekers helpen te onderzoeken waarom emergentie überhaupt plaatsvindt.

Recente bevindingen zoals deze suggereren ten minste twee mogelijkheden voor waarom opkomst optreedt, zei Ellie Pavlick, een computerwetenschapper aan de Brown University die computermodellen van taal bestudeert. Een daarvan is dat, zoals gesuggereerd door vergelijkingen met biologische systemen, grotere modellen echt spontaan nieuwe vaardigheden verwerven. "Het kan heel goed zijn dat het model iets fundamenteel nieuws en anders heeft geleerd dat het niet had bij een kleiner formaat," zei ze. "Dat is wat we allemaal hopen dat het geval is, dat er een fundamentele verschuiving plaatsvindt wanneer modellen worden opgeschaald."

De andere, minder sensationele mogelijkheid, zei ze, is dat wat opkomend lijkt, in plaats daarvan het hoogtepunt kan zijn van een intern, statistisch gestuurd proces dat werkt door redeneringen van het type chain of thought. Grote LLM's zijn misschien gewoon heuristieken aan het leren die onbereikbaar zijn voor mensen met minder parameters of gegevens van mindere kwaliteit.

Maar, zei ze, om erachter te komen welke van die verklaringen waarschijnlijker is, hangt af van een beter begrip van hoe LLM's überhaupt werken. "Omdat we niet weten hoe ze onder de motorkap werken, kunnen we niet zeggen welke van die dingen er gebeuren."

Onvoorspelbare krachten en valkuilen

Er is een duidelijk probleem met het vragen van deze modellen om zichzelf uit te leggen: het zijn beruchte leugenaars. "We vertrouwen steeds meer op deze modellen om basiswerk te doen," zei Ganguli, "maar ik vertrouw deze niet alleen. Ik controleer hun werk.” Als een van de vele grappige voorbeelden introduceerde Google in februari zijn AI-chatbot, Bard. De blogpost waarin de nieuwe tool wordt aangekondigd, toont Bard een feitelijke fout maken.

Opkomst leidt tot onvoorspelbaarheid, en onvoorspelbaarheid - die lijkt toe te nemen met schaalvergroting - maakt het moeilijk voor onderzoekers om te anticiperen op de gevolgen van wijdverbreid gebruik.

"Het is moeilijk om van tevoren te weten hoe deze modellen zullen worden gebruikt of ingezet", zei Ganguli. "En om opkomende verschijnselen te bestuderen, moet je een casus in gedachten hebben, en je weet pas als je de invloed van schaal bestudeert welke mogelijkheden of beperkingen kunnen ontstaan."

In een analyse van LLM's afgelopen juni uitgebracht, onderzochten onderzoekers van Anthropic of de modellen bepaalde soorten raciale of sociale vooroordelen zouden vertonen, vergelijkbaar met die eerder gemeld in niet op LLM gebaseerde algoritmen die worden gebruikt om te voorspellen welke voormalige criminelen waarschijnlijk nog een misdaad zullen plegen. Die studie werd geïnspireerd door een schijnbare paradox die rechtstreeks verband houdt met opkomst: naarmate modellen hun prestaties verbeteren bij het opschalen, kunnen ze ook de kans op onvoorspelbare fenomenen vergroten, inclusief fenomenen die mogelijk kunnen leiden tot vooringenomenheid of schade.

"Bepaald schadelijk gedrag komt abrupt naar voren in sommige modellen," zei Ganguli. Hij wijst naar een recente analyse van LLM's, bekend als de BBQ-benchmark, die aantoonde dat sociale vooroordelen ontstaan ​​met enorm veel parameters. "Grotere modellen worden abrupt meer bevooroordeeld." Het niet aanpakken van dat risico, zei hij, zou de onderwerpen van deze modellen in gevaar kunnen brengen.

Maar hij biedt een contrapunt: toen de onderzoekers het model simpelweg vertelden niet te vertrouwen op stereotypen of sociale vooroordelen - letterlijk door die instructies in te typen - was het model minder bevooroordeeld in zijn voorspellingen en reacties. Dit suggereert dat sommige opkomende eigenschappen ook kunnen worden gebruikt om vertekening te verminderen. In een krant uitgebracht in februari, rapporteerde het Anthropic-team over een nieuwe "morele zelfcorrectie" -modus, waarin de gebruiker het programma vraagt ​​​​om behulpzaam, eerlijk en onschadelijk te zijn.

Opkomst, zei Ganguli, onthult zowel verrassend potentieel als onvoorspelbare risico's. Toepassingen van deze grote LLM's nemen al toe, dus een beter begrip van dat samenspel zal helpen de diversiteit aan mogelijkheden van taalmodellen te benutten.

"We bestuderen hoe mensen deze systemen daadwerkelijk gebruiken", zei Ganguli. Maar die gebruikers zijn ook constant aan het sleutelen. "We besteden veel tijd aan het praten met onze modellen," zei hij, "en dat is eigenlijk waar je een goede intuïtie begint te krijgen over vertrouwen - of het gebrek daaraan."