Door: Numa Dhamani en Maggie Engler

Het is veilig om te zeggen dat AI een moment heeft. Sinds OpenAI's gespreksagent ChatGPT eind vorig jaar onverwacht viraal ging, gonst het in de technologie-industrie van grote taalmodellen (LLM's), de technologie achter ChatGPT. Google, Meta en Microsoft hebben, naast goed gefinancierde startups als Anthropic en Cohere, allemaal hun eigen LLM-producten uitgebracht. Bedrijven uit verschillende sectoren hebben zich gehaast om LLM's in hun diensten te integreren: OpenAI alleen al heeft klanten variërend van fintechs zoals Stripe die chatbots voor de klantenservice aandrijven, tot edtechs zoals Duolingo en Khan Academy die educatief materiaal genereren, tot videogamebedrijven zoals Inworld die LLM's gebruiken om dialoog te bieden NPC's (niet-speelbare personages) tijdens de vlucht. Op basis van deze partnerschappen en de wijdverbreide adoptie zou OpenAI op koers liggen om meer dan een miljard dollar aan jaarlijkse inkomsten te behalen. Het is gemakkelijk om onder de indruk te raken van de dynamiek van deze modellen: het technische rapport over GPT-4, de nieuwste LLM van OpenAI, laat zien dat het model indrukwekkende scores behaalt op een breed scala aan academische en professionele benchmarks, waaronder het bar-examen; de SAT, LSAT en GRE; en AP-examens in vakken als kunstgeschiedenis, psychologie, statistiek, biologie en economie. 

Deze opzienbarende resultaten zouden het einde van de kenniswerker kunnen suggereren, maar er is een belangrijk verschil tussen GPT-4 en een menselijke expert: GPT-4 heeft geen begrip. De antwoorden die GPT-4 en alle LLM's genereren, zijn niet afkomstig van logische redeneerprocessen, maar van statistische bewerkingen. Grote taalmodellen worden getraind op grote hoeveelheden gegevens van internet. Webcrawlers –– bots die miljoenen webpagina’s bezoeken en de inhoud ervan downloaden –– produceren datasets met tekst van allerlei soorten sites: sociale media, wiki’s en forums, nieuws- en entertainmentwebsites. Deze tekstdatasets bevatten miljarden of biljoenen woorden, die voor het grootste deel in natuurlijke taal zijn gerangschikt: woorden die zinnen vormen, zinnen die alinea's vormen. 

Om te leren hoe ze samenhangende tekst kunnen produceren, trainen de modellen zichzelf op basis van deze gegevens uit miljoenen voorbeelden van tekstaanvulling. De dataset voor een bepaald model kan bijvoorbeeld zinnen bevatten als: “Het was een donkere en stormachtige nacht” en “De hoofdstad van Spanje is Madrid.” Telkens opnieuw probeert het model het volgende woord te voorspellen na het zien van 'Het was donker en' of 'De hoofdstad van Spanje is'. Vervolgens controleert het model of het juist was of niet, en wordt het telkens bijgewerkt als het verkeerd is. In de loop van de tijd wordt het model steeds beter in deze tekstaanvullingstaak, zodat voor veel contexten – vooral die waarin het volgende woord bijna altijd hetzelfde is, zoals ‘De hoofdstad van Spanje is’ – het antwoord dat door het model het meest waarschijnlijk wordt geacht is wat een mens als de ‘juiste’ reactie zou beschouwen. In de context waarin het volgende woord verschillende dingen kan zijn, zoals ‘Het was donker en’, zal het model leren selecteren wat mensen op zijn minst als een redelijke keuze beschouwen, misschien ‘stormachtig’, maar misschien ‘sinister’. of in plaats daarvan "muffig". Deze fase van de LLM-levenscyclus, waarin het model zichzelf traint op grote tekstdatasets, wordt genoemd voortraining. Voor sommige contexten levert het simpelweg voorspellen van welk woord er daarna moet komen niet noodzakelijkerwijs de gewenste resultaten op; het model kan mogelijk niet begrijpen dat het op instructies als ‘Schrijf een gedicht over een hond’ moet reageren met een gedicht in plaats van door te gaan met de instructie. Om bepaald gedrag te produceren, zoals het volgen van instructies en om het vermogen van het model om bepaalde taken uit te voeren, zoals het schrijven van code of het voeren van losse gesprekken met mensen, te verbeteren, worden de LLM's vervolgens getraind op gerichte datasets die zijn ontworpen om voorbeelden van die taken op te nemen.

De taak van LLM's die worden opgeleid om tekst te genereren door waarschijnlijke volgende woorden te voorspellen, leidt echter tot een fenomeen dat bekend staat als hallucinaties, een goed gedocumenteerde technische valkuil waarbij LLM's vol vertrouwen onjuiste informatie en uitleg verzinnen wanneer daarom wordt gevraagd. Het vermogen van LLM's om tekst te voorspellen en aan te vullen is gebaseerd op patronen die ze tijdens het trainingsproces hebben geleerd, maar wanneer ze worden geconfronteerd met onzekere of meerdere mogelijke voltooiingen, selecteren LLM's de optie die het meest plausibel lijkt, zelfs als deze in de werkelijkheid geen enkele basis heeft.

Toen Google bijvoorbeeld zijn chatbot Bard lanceerde, maakte het een feitelijke fout in zijn allereerste openbare demo. Bard berucht verklaard dat de James Webb Space Telescope (JWST) “de allereerste foto’s maakte van een planeet buiten ons eigen zonnestelsel.” Maar in werkelijkheid is de De eerste foto van een exoplaneet werd in 2004 gemaakt door de Very Large Telescope (VLT). JWST werd pas in 2021 gelanceerd.

Hallucinaties zijn niet de enige tekortkoming van LLM's –– training over enorme hoeveelheden internetgegevens resulteert ook direct in vooringenomenheid en auteursrechtkwesties. Laten we eerst bespreken vooringenomenheid, wat verwijst naar ongelijksoortige resultaten van een model over kenmerken van persoonlijke identiteit, zoals ras, geslacht, klasse of religie. Aangezien LLM's kenmerken en patronen uit internetgegevens leren, brengen ze helaas ook mensachtige vooroordelen, historisch onrecht en culturele associaties met zich mee. Hoewel mensen bevooroordeeld zijn, zijn LLM's dat wel zal u zelfs erger omdat ze de neiging hebben om de vooroordelen in de trainingsgegevens te versterken. Voor LLM's zijn mannen succesvolle artsen, ingenieurs en CEO's, vrouwen zijn ondersteunende, mooie receptionisten en verpleegsters, en LGBTQ-mensen bestaan ​​niet. 

Het trainen van LLM's over ondoorgrondelijke hoeveelheden internetgegevens roept ook vragen op over auteursrechtkwesties. Auteursrechten zijn exclusieve rechten op een creatief werk, waarbij de houder van het auteursrecht de enige entiteit is met de bevoegdheid om het werk voor een bepaalde duur te reproduceren, distribueren, tentoonstellen of uit te voeren.

Op dit moment is de voornaamste juridische zorg met betrekking tot LLM's niet gericht op de auteursrechtelijkheid van hun producties, maar eerder op de mogelijke inbreuk op bestaande auteursrechten van de kunstenaars en schrijvers wier creaties bijdragen aan hun trainingsdatasets. De Authors Guild heeft een beroep gedaan OpenAI, Google, Meta en Microsoft, onder andere, om schrijvers toestemming te geven, te crediteren en eerlijk te compenseren voor het gebruik van auteursrechtelijk beschermd materiaal bij het trainen van LLM's. Sommige auteurs en uitgevers hebben deze zaak ook in eigen handen genomen.

LLM-ontwikkelaars worden momenteel geconfronteerd met verschillende rechtszaken van individuen en groepen vanwege auteursrechtkwesties –– Sarah Silverman, een cabaretier en acteur, sloot zich aan bij een groep auteurs en uitgevers die een rechtszaak aanspanden tegen OpenAI en beweert dat ze nooit toestemming hebben verleend om hun auteursrechtelijk beschermde boeken te gebruiken voor het trainen van LLM's.

Hoewel zorgen met betrekking tot hallucinaties, vooroordelen en auteursrecht tot de best gedocumenteerde kwesties behoren die verband houden met LLM's, zijn dit zeker niet de enige zorgen. Om er maar een paar te noemen: LLM's coderen gevoelige informatie, produceren ongewenste of giftige resultaten en kunnen door tegenstanders worden uitgebuit. LLM's blinken ongetwijfeld uit in het genereren van coherente en contextueel relevante tekst en zouden zeker moeten worden ingezet om, naast andere voordelen, de efficiëntie te verbeteren bij een groot aantal taken en scenario's.

Onderzoekers werken ook aan het aanpakken van een aantal van deze problemen, maar hoe de modelresultaten het beste kunnen worden gecontroleerd blijft een open onderzoeksvraag, dus bestaande LLM's zijn verre van onfeilbaar. Hun resultaten moeten altijd worden onderzocht op nauwkeurigheid, feitelijkheid en mogelijke vooroordelen. Als u een uitvoer krijgt, is dat gewoon te goed om waar te zijn, het zou je spinnenzintuigen moeten prikkelen om voorzichtig te zijn en verder onderzoek te doen. De verantwoordelijkheid ligt bij de gebruikers om alle tekst die door LLM's is gegenereerd te valideren en te herzien, of zoals wij graag zeggen: generatieve AI: het is je eerste versie, niet de finale.

 
 
Maggie Engler is een ingenieur en onderzoeker die momenteel werkt aan de veiligheid van grote taalmodellen. Ze richt zich op het toepassen van data science en machine learning op misstanden in het online ecosysteem, en is een domeinexpert op het gebied van cybersecurity en vertrouwen en veiligheid. Maggie is een toegewijd docent en communicator en geeft les als adjunct-instructeur aan de Universiteit van Texas aan de Austin School of Information.
 

Numa Dhamani is een ingenieur en onderzoeker die werkt op het snijvlak van technologie en samenleving. Ze is een expert op het gebied van natuurlijke taalverwerking met domeinexpertise op het gebied van beïnvloedingsoperaties, beveiliging en privacy. Numa heeft machine learning-systemen ontwikkeld voor Fortune 500-bedrijven en sociale-mediaplatforms, maar ook voor start-ups en non-profitorganisaties. Ze heeft bedrijven en organisaties geadviseerd, was hoofdonderzoeker van de onderzoeksprogramma's van het Amerikaanse ministerie van Defensie en heeft bijgedragen aan meerdere internationale peer-reviewed tijdschriften.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.kdnuggets.com/generative-ai-the-first-draft-not-final?utm_source=rss&utm_medium=rss&utm_campaign=generative-ai-the-first-draft-not-final