Prairiehonden zijn alles behalve honden. Met een lichaam dat lijkt op een Hershey's Kiss en een zeer verfijnde piepen voor communicatie zijn ze meer hamster dan golden retriever.

Mensen begrijpen meteen dat prairiehonden geen honden zijn in de gebruikelijke zin. AI worstelt.

Zelfs als peuters hebben we het griezelige vermogen om wat we over de wereld leren in concepten om te zetten. Met slechts een paar voorbeelden krijgen we een idee van wat een ‘hond’ is of wat het betekent om te ‘springen’ of ‘over te slaan’. Deze concepten worden moeiteloos gemengd en op elkaar afgestemd in ons hoofd, wat resulteert in een peuter die naar een prairiehond wijst en schreeuwt: "Maar dat is geen hond!"

Vorige week een team van de New York University een AI-model gemaakt dat het vermogen van een peuter nabootst om het leren van talen te generaliseren. In een notendop is generalisatie een soort flexibel denken dat ons in staat stelt nieuw geleerde woorden in nieuwe contexten te gebruiken – zoals een oudere millennial die moeite heeft om het Gen Z-jargon in te halen.

Toen het model tegenover volwassen mensen werd geplaatst in een taaltaak voor generalisatie, kwam het overeen met hun prestaties. Het versloeg ook GPT-4, het AI-algoritme achter ChatGPT.

De geheime saus was verrassend menselijk. Het nieuwe neurale netwerk is getraind om fouten uit menselijke testresultaten te reproduceren en ervan te leren.

“Al 35 jaar debatteren onderzoekers in de cognitiewetenschappen, kunstmatige intelligentie, taalkunde en filosofie over de vraag of neurale netwerken mensachtige systematische generalisatie kunnen bereiken,” zei studieauteur Dr. Brenden Lake. "We hebben voor het eerst aangetoond dat een generiek neuraal netwerk de menselijke systematische generalisatie kan nabootsen of overtreffen in een onderlinge vergelijking."

Een slimme vete

De meeste AI-modellen vertrouwen op deep learning, een methode die losjes gebaseerd is op het brein.

Het idee is eenvoudig. Kunstmatige neuronen verbinden zich om neurale netwerken te vormen. Door de sterke punten van verbindingen tussen kunstmatige neuronen te veranderen, kunnen neurale netwerken veel taken leren, zoals het besturen van autonome taxi’s of het screenen van chemicaliën op het ontdekken van medicijnen.

Neurale netwerken zijn echter nog krachtiger in de hersenen. De verbindingen passen zich snel aan aan steeds veranderende omgevingen en voegen concepten uit individuele ervaringen en herinneringen samen. We kunnen bijvoorbeeld gemakkelijk een wilde ezel identificeren die de weg oversteekt en weten wanneer we moeten remmen. Een robotauto kan haperen zonder specifieke training voor wilde ezels.

Het pijnpunt is generalisatie. Bijvoorbeeld: Wat is een weg? Is het een verharde snelweg, een ruig onverhard pad of een wandelpad omgeven door struiken?

In de jaren tachtig stelden cognitieve wetenschappers Jerry Fodor en Zenon Pylyshyn het beroemde voorstel dat kunstmatige neurale netwerken niet in staat zijn concepten – zoals een ‘weg’ – te begrijpen, en deze veel minder flexibel te gebruiken om door nieuwe scenario’s te navigeren.

De wetenschappers achter de nieuwe studie gingen de uitdaging aan. Hun oplossing? Een kunstmatig neuraal netwerk dat is afgestemd op menselijke reacties.

Mens met machine

Als basis vroeg het team eerst 25 mensen om een ​​nieuwe verzonnen taal te leren. Vergeleken met het gebruik van een bestaande taal voorkomt een fantasietaal vooringenomenheid bij het testen van menselijke deelnemers.

Het onderzoek ging “verder dan klassiek werk dat voornamelijk op gedachte-experimenten berustte” om gebruik te maken van menselijke taalvaardigheden, zo legden de auteurs in hun onderzoek uit. De test verschilde van eerdere opstellingen die vooral op grammatica gericht waren. In plaats daarvan ging het erom dat de deelnemers de verzonnen taal alleen uit woorden zouden begrijpen en generaliseren.

Alsof ze een nieuwe taal aan het onderwijzen waren, begon het team met een aantal simpele onzinwoorden: ‘dax’, ‘lug’, ‘wif’ of ‘zup’. Deze vertalen zich in basisacties zoals springen of springen.

Het team introduceerde vervolgens complexere woorden, ‘blicket’ of ‘kiki’, die kunnen worden gebruikt om de voorgaande woorden tot zinnen samen te voegen – en op hun beurt concepten en begrippen. Deze abstracte woorden kunnen, wanneer ze samen met de eenvoudige woorden worden gebruikt, ‘achteruit springen’ of ‘drie keer springen’ betekenen.

De vrijwilligers werden getraind om elk woord met een kleur te associëren. ‘dax’ was bijvoorbeeld rood, ‘lug’ was blauw. De kleuren hielpen de vrijwilligers de regels van de nieuwe taal te leren. Eén woordcombinatie resulteerde in drie rode cirkels, een andere flitste blauw. Maar belangrijker is dat sommige woorden, zoals ‘fep’, oplichtten ongeacht andere woorden die ermee gepaard gingen – wat een grammaticale basis in de fantasietaal suggereert.

Na 14 leerrondes werden de vrijwilligers uitgedaagd met 10 vragen over de betekenis van de verzonnen woorden en gevraagd om te generaliseren naar meer complexe vragen. Voor elke taak moesten de deelnemers de overeenkomstige kleurcirkels selecteren en deze in de juiste volgorde plaatsen om een ​​zin te vormen.

Ze excelleerden. Ongeveer 80 procent van de tijd kozen de mensen de juiste kleuren. Veel van de fouten waren “één-op-één” vertaalproblemen, waarbij een woord naar de basisbetekenis werd vertaald zonder rekening te houden met de bredere context.

Een tweede team van nog eens 29 mensen leerde ook snel de fantasietaal en vertaalde combinaties zoals “fep fep” zonder problemen.

Taal geleerd

Om het AI-model te bouwen, concentreerde het team zich op verschillende criteria.

Ten eerste moest het generaliseren op basis van slechts een paar voorbeelden van leren. Ten tweede moest het als mensen reageren op fouten als het met soortgelijke taken werd geconfronteerd. Ten slotte moest het model woorden leren en gemakkelijk in zijn vocabulaire opnemen, waarbij voor elk woord een soort ‘concept’ werd gevormd.

Om dit te doen, gebruikte het team meta-learning voor compositoriteit. Ja, het klinkt als de superkracht van een slechterik. Maar wat het doet is relatief eenvoudig.

Het team gaf een kunstmatig neuraal netwerk taken zoals die aan de menselijke vrijwilligers. Het netwerk wordt geoptimaliseerd omdat dynamische ‘pieken’ de algehele functie ervan veranderen, waardoor het beter on-the-fly kan leren in vergelijking met standaard AI-benaderingen, die afhankelijk zijn van statische datasets. Meestal verwerken deze machines een probleem aan de hand van een reeks studievoorbeelden. Zie het als het ontcijferen van morsecode. Ze ontvangen een bericht (puntjes en streepjes) en vertalen de reeks in normaal Engels.

Maar wat als de taal geen Engels is en zijn eigen concepten en regels heeft? Een statische trainingsset zou de AI-woordenmaker tekortschieten.

Hier leidde het team de AI door een ‘dynamische stroom’ van taken waarbij de machine concepten moest mixen en matchen. In één voorbeeld werd gevraagd om twee keer over te slaan. Het AI-model leerde onafhankelijk het begrip ‘overslaan’ – in tegenstelling tot ‘springen’ – en dat betekent twee keer ‘twee keer’. Deze lessen werden vervolgens via het neurale netwerk doorgegeven en het resulterende gedrag werd vergeleken met de instructie. Als het AI-model bijvoorbeeld drie keer oversloeg, leverden de resultaten feedback om het AI-model in de richting van het juiste antwoord te helpen. Door herhaling leerde het uiteindelijk verschillende concepten met elkaar te associëren.

Toen kwam de tweede stap. Het team voegde een nieuw woord toe, bijvoorbeeld ‘op zijn tenen’, aan een context die het AI-model al had geleerd, zoals beweging, en vroeg het vervolgens om ‘op zijn tenen achteruit te gaan’. Het model moest nu leren ‘op zijn tenen’ te combineren in zijn bestaande vocabulaire en bewegingsconcepten.

Om de AI verder te trainen, voerde het team gegevens van de menselijke deelnemers in, zodat deze van menselijke fouten kon leren. Toen de AI werd uitgedaagd met nieuwe puzzels, imiteerde hij in 65 procent van de onderzoeken menselijke reacties, presteerde daarmee beter dan vergelijkbare AI-modellen en versloeg in sommige gevallen menselijke deelnemers.

Het model roept natuurlijke vragen op voor de toekomst van taal-AI, schreef het team. In plaats van de grammatica van AI-modellen aan te leren met voorbeelden, zou het geven van een bredere reikwijdte hen kunnen helpen het vermogen van kinderen om talen te begrijpen na te bootsen door verschillende taalcomponenten te combineren.

Het gebruik van AI kan ons helpen begrijpen hoe mensen hebben geleerd woorden te combineren tot zinsneden, zinnen, poëzie en essays. De systemen kunnen ook leiden tot inzichten in hoe kinderen hun woordenschat opbouwen, en op hun beurt een goed begrip vormen van concepten en kennis over de wereld. Afgezien van de taal zou het nieuwe AI-model machines ook kunnen helpen bij het ontleden van andere gebieden, zoals wiskunde, logica en zelfs, in een volledige cirkel, computerprogrammering.

“Het is geen magie, het is oefening. Net zoals een kind ook oefent bij het leren van zijn moedertaal, verbeteren de modellen hun compositorische vaardigheden door middel van een reeks compositorische leertaken”, aldus Lake vertelde NATUUR.

Krediet van het beeld: Andreas Fickl / Unsplash 

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://singularityhub.com/2023/10/31/like-humans-this-breakthrough-ai-makes-concepts-out-of-words-it-learns/