Wat is GPT-3?

In februari 2019, de kunstmatige intelligentie onderzoekslaboratorium OpenAI stuurde schokgolven door de wereld van computers door de GPT-2-taalmodel. Afkorting van "Generative Pretrained Transformer 2", GPT-2 is in staat om meerdere alinea's met natuurlijke taal tekst te genereren - vaak indrukwekkend realistisch en intern coherent - gebaseerd op een korte prompt.

Amper een jaar later heeft OpenAI zichzelf al overtroffen GPT-3, een nieuw generatief taalmodel dat qua grootte groter is dan GPT-2. De grootste versie van het GPT-3-model heeft 175 miljard parameters, meer dan 100 keer de 1.5 miljard parameters van GPT-2. (Ter referentie: het aantal neuronen in het menselijk brein wordt gewoonlijk geschat op 85 miljard tot 120 miljard, en het aantal synapsen is ongeveer 150 biljoen.)

Net als zijn voorganger GPT-2, was GPT-3 getraind op een eenvoudige taak: gezien de voorgaande woorden in een tekst, voorspel het volgende woord. Dit vereiste dat het model zeer grote datasets met internettekst zou verbruiken, zoals Gemeenschappelijke crawl en Wikipedia, in totaal 499 miljard tokens (dwz woorden en cijfers).

Maar hoe werkt GPT-3 onder de motorkap? Is het echt een grote stap voorwaarts van GPT-2? En wat zijn de mogelijke implicaties en toepassingen van het GPT-3-model?

Hoe werkt GPT-3?

Het bouwen van GPT-3 vereiste een monumentale inspanning van OpenAI-onderzoekers. De details van het GPT-3-model worden besproken in de paper van mei 2020 "Taalmodellen zijn maar weinig studenten", dat is 74 pagina's lang en heeft meer dan 30 auteurs. Chuan Li, chief science officer bij Lambda Labs, schat dat het gaat kosten $ 4.6 miljoenen het duurt 355 jaar om een ​​single te runnen opleiding cyclus voor het GPT-3-model op een NVIDIA Tesla V100 GPU.

Misschien wel de meest indrukwekkende prestatie van GPT-3 is het vermogen om zeer realistische zinnen en tekstparagrafen te genereren. De tekstgeneratiefunctie van GPT-3 overtreft zelfs de mogelijkheden van GPT-2, die al een grote vooruitgang in het veld waren.

Op basis van een prompt met een korte titel en ondertitel kan het GPT-3-model een nieuwsartikel van ongeveer 200 woorden 'schrijven' dat op zijn minst oppervlakkig aannemelijk lijkt. Hieronder staat het door GPT-3 gegenereerde artikel dat menselijke rechters de meeste moeite hadden om van de werkelijkheid te onderscheiden:

Titel: United Methodists gaan akkoord met het historische Split

ondertitel: Degenen die tegen het homohuwelijk zijn, zullen hun eigen denominatie vormen

Artikel: Na twee dagen van intensief debat heeft de United Methodist Church ingestemd met een historische splitsing - een die naar verwachting zal eindigen in de creatie van een nieuwe denominatie, die volgens The Washington Post 'theologisch en sociaal conservatief' zal zijn. De meerderheid van de afgevaardigden die de jaarlijkse Algemene Conferentie van de kerk in mei bijwoonden, stemden om een ​​verbod op de wijding van LGBTQ-geestelijken te versterken en om nieuwe regels te schrijven die geestelijken die op bruiloften van hetzelfde geslacht opereren, zullen "disciplineren". Maar degenen die tegen deze maatregelen waren, hebben een nieuw plan: ze zeggen dat ze tegen 2020 een afzonderlijke denominatie zullen vormen en hun kerk de christelijke methodistische denominatie zullen noemen.

Merk op dat dit artikel is gebaseerd op een kern van waarheid: in januari 2020, de United Methodist Church stelde een splitsing voor als gevolg van meningsverschillen over LGBT-kwesties zoals het homohuwelijk. Deze schijnbare waarheidsgetrouwheid was waarschijnlijk de sleutel tot de manier waarop deze passage zoveel rechters overtuigde. Het gegenereerde artikel van GPT-3 bevat echter een paar opvallende feiten: de naam van de nieuwe benaming is niet gesuggereerd, het voorstel is niet gedaan tijdens de algemene conferentie van de kerk en het citaat van de Washington Post is niet gebaseerd op een echt citaat.

Maar misschien nog indrukwekkender zijn de prestaties van GPT-3 op een aantal veelvoorkomende taken in natuurlijke taalverwerking. Zelfs vergeleken met GPT-2 betekent GPT-3 een belangrijke stap voorwaarts voor het NLP-veld. Het is opmerkelijk dat het GPT-3-model zeer hoge prestaties kan leveren, zelfs zonder enige speciale opleiding of finetuning voor deze taken.

Ten eerste behaalt GPT-3 zeer sterke prestaties op "Cloze" tests, waarin het model de taak heeft om de lege woorden in een zin in te vullen. Gezien de onderstaande zin zouden de meeste mensen bijvoorbeeld een woord als "vleermuis" in de lege ruimte invoegen:

George kocht wat honkbaluitrusting: een bal, een handschoen en een _____.

Het GPT-3-model kan zich ook gemakkelijk aanpassen aan nieuwe woorden die in zijn vocabulaire worden geïntroduceerd. Het onderstaande voorbeeld laat zien hoe GPT-3, gegeven een prompt die het nieuwe woord definieert, een plausibele zin kan genereren die zelfs het woord in de verleden tijd gebruikt:

prompt: Iets 'screëren' is door er een zwaard naar te zwaaien. Een voorbeeld van een zin die het woord screeg gebruikt, is:

Antwoord: We schreeuwden een paar minuten naar elkaar en daarna gingen we naar buiten en aten ijs.

Verrassend genoeg is GPT-3 ook in staat om eenvoudige berekeningen met een hoge mate van nauwkeurigheid uit te voeren, zelfs zonder hiervoor opgeleid te zijn. Met een simpele vraag als "Wat is 48 plus 76?" GPT-3 kan bijna 100 procent van de tijd het juiste antwoord geven met getallen van twee cijfers, en ongeveer 80 procent van de tijd met getallen van drie cijfers.

Wat betekent GPT-3 in het algemeen?

In de weken sinds de release van GPT-3 hebben veel experts de impact besproken die het model zou kunnen hebben op de toestand van diepgaand leren, kunstmatige intelligentie, en NLP.

Ten eerste toont GPT-3 aan dat het niet nodig is om een ​​taakspecifieke dataset te hebben, of om de architectuur van het model te verfijnen, om zeer goede prestaties op specifieke taken te bereiken. U hoeft het model bijvoorbeeld niet te trainen op miljoenen optel- en aftrekproblemen om het juiste antwoord op een wiskundevraag te krijgen. In wezen behaalde GPT-3 zijn sterke resultaten voornamelijk door brute kracht, waarbij het model werd opgeschaald tot een ongelooflijke grootte.

Deze aanpak heeft gemengde beoordelingen van analisten opgeleverd. Volgens UCLA-assistent computerwetenschapper Guy Van den Broeck is het GPT-3-model analoog aan "Een of ander olierijk land dat een zeer hoge wolkenkrabber kan bouwen." Hoewel Van den Broeck de kennis, vaardigheid en inspanning erkent die nodig is om GPT-3 te bouwen, beweert hij dat "er op zich geen wetenschappelijke vooruitgang is" en dat het model de vooruitgang in AI. '

Een probleem is dat de brute rekenkracht die nodig is om modellen zoals GPT-3 te trainen, simpelweg buiten bereik is voor kleinere bedrijven en de academische wereld. Diepgaande onderzoeker Denny Britz vergelijkt GPT-3 met een deeltjesbotser in de natuurkunde: een geavanceerde tool die alleen toegankelijk is voor een kleine groep mensen. Britz suggereert echter ook dat de computerbeperkingen van minder bedeelde onderzoekers een netto positief effect zullen hebben op AI-onderzoek, waardoor ze moeten nadenken over waarom het model werkt en alternatieve technieken om dezelfde effecten te bereiken.

Ondanks de indrukwekkende resultaten, is het niet helemaal duidelijk wat er aan de hand is met GPT-3 onder de motorkap. Heeft het model echt iets 'geleerd' of doet het gewoon patroonpatronen op zeer hoog niveau voor bepaalde problemen? De auteurs merken op dat GPT-3 nog steeds opmerkelijke zwakheden vertoont bij taken zoals tekstsynthese en begrijpend lezen.

Bovendien is er een natuurlijke limiet aan de prestaties van modellen zoals GPT-3, hoe groot we ze ook schalen? De auteurs gaan ook kort in op deze bezorgdheid en vermelden de mogelijkheid dat het model "uiteindelijk de grenzen van het voortrainingsdoel kan tegenkomen (of al kan tegenkomen)." Met andere woorden, brute kracht kan je alleen zo ver brengen.

Tenzij je een paar honderd reserve GPU's rondslingert, zal het antwoord op deze vragen moeten wachten tot de vermoedelijke release van GPT-4 ergens volgend jaar.

Wat betekent GPT-3 voor klantenservice?

Hoewel er nog veel meer te leren valt over hoe GPT-3 werkt, heeft de release van het model verstrekkende gevolgen voor een aantal industrieën - met name chatbots en klantenservice. Het vermogen van GPT-3 om alinea's met een schijnbaar realistische tekst te genereren, zou iedereen moeten aanspreken die geïnteresseerd is in het maken van overtuigendere, 'mensachtige' AI's.

Techbedrijven proberen al jaren chatbots te bouwen die gesprekken met hun menselijke gesprekspartners effectief kunnen simuleren. Maar ondanks hun inspanningen zijn chatbots nog steeds niet in staat om de gespreksvaardigheid en kennis van een echt mens gedurende een langere periode te simuleren. Volgens een onderzoek uit 2019, 86 procent van de mensen spreekt liever met mensen in plaats van met chatbots, en 71 procent zegt dat ze minder snel een merk zouden gebruiken als er geen menselijke agenten beschikbaar waren.

Natuurlijk was GPT-3 getraind om artikelen en tekst te genereren, niet om een ​​levensecht gesprek te voeren. Maar er zijn aanwijzingen dat modellen zoals GPT-3 mensachtige taalvaardigheden naderen - althans voor oppervlakkige interacties, zoals bij een chatbot-gesprek. De GPT-3-auteurs ontdekten dat menselijke rechters slechts 52 procent van de tijd de nepartikelen van het model konden identificeren, wat weinig beter is dan toeval.

Het is niet alleen het realisme van GPT-3, maar ook de geavanceerde taken die het kan uitvoeren, die het onderscheiden van het huidige veld van chatbots. Veel chatbots op websites van bedrijven zijn simpelweg bedoeld als een klantenservice kwaliteitsfilter, met suggesties voor enkele veelvoorkomende oplossingen voor gebruikers voordat ze deze indien nodig overzetten naar een menselijke agent.

Ondertussen, in termen van natuurlijke taalverwerking, is GPT-3 veel dichter bij een "Kunstmatige algemene intelligentie" dan elke chatbot die tot nu toe is gebouwd (hoewel het nog steeds verre van een echte AGI is). Het is denkbaar dat zeer geavanceerde modellen zoals GPT-3 op een dag de complexe vragen van gebruikers kunnen parseren en hun problemen automatisch kunnen oplossen, zonder dat een menselijke tussenpersoon ooit hoeft in te grijpen.

Voorts baanbrekende gespreks-AI's zoals die van Google Meena en Facebook's blenderbot, beide uitgebracht in 2020, hebben ook aangetoond dat de 'brute force'-aanpak effectief is wanneer deze specifiek wordt toegepast op chatbots. Meena en BlenderBot hebben respectievelijk 2.6 miljard en 9.4 miljard parameters, wat slechts kleine fracties zijn van de 3 miljard van GPT-175. Het is misschien slechts een kwestie van tijd voordat deze modellen de Turing-test doorstaan ​​door uit te breiden naar de schaal van GPT-3, waardoor ze in korte tekstgesprekken vrijwel niet van mensen te onderscheiden zijn.

OpenAI heeft nog niet het volledige model of de broncode voor GPT-3 vrijgegeven, zoals ze vorig jaar geleidelijk deden met GPT-2. Dit brengt GPT-3 buiten het bereik van bedrijven die geïnteresseerd zijn in de praktische toepassingen van het model (althans voorlopig). Maar dit is niet het laatste dat we op lange termijn over GPT-3 zullen horen. We leven in opwindende tijden - en welk onderzoek dan ook in de pijplijn komt, het zal ons begrip van de mogelijkheden (en limieten) van AI zeker vergroten.