Logotip Zephyrnet

Kognitivni znanstveniki razvijajo nov model, ki pojasnjuje težave pri razumevanju jezika

Datum:

Kognitivni znanstveniki so si že dolgo prizadevali razumeti, zakaj je nekatere stavke težje razumeti kot druge. Raziskovalci verjamejo, da bi kakršen koli opis razumevanja jezika koristil razumevanju težav pri razumevanju.

V zadnjih letih so raziskovalci uspešno razvili dva modela, ki pojasnjujeta dve pomembni vrsti težav pri razumevanju in ustvarjanju stavkov. Medtem ko ti modeli uspešno napovedujejo posebne vzorce težav z razumevanjem, so njihove napovedi omejene in se ne ujemajo popolnoma z rezultati vedenjskih poskusov. Še več, do nedavnega raziskovalci teh dveh modelov niso mogli integrirati v skladen račun.

Nova študija, ki so jo vodili raziskovalci z oddelka za možgane in kognitivne znanosti (BCS) MIT-a, zdaj zagotavlja tako enoten prikaz težav pri razumevanju jezika. Na podlagi nedavnega napredka v strojnem učenju so raziskovalci razvili model, ki bolje napove lahkoto ali pomanjkanje le-te, s katero posamezniki ustvarjajo in razumejo stavke. Nedavno so objavljeno njihove ugotovitve v Zbornik National Academy of Sciences.

Višja avtorja prispevka sta profesorja BCS Roger Levy in Edward (Ted) Gibson. Glavni avtor je nekdanji gostujoči študent Levyja in Gibsona, Michael Hahn, zdaj profesor na univerzi Saarland. Drugi avtor je Richard Futrell, še en nekdanji študent Levyja in Gibsona, ki je zdaj profesor na Univerzi Kalifornije v Irvinu.

"To ni samo povečana različica obstoječih računov za težave z razumevanjem," pravi Gibson; "ponujamo nov osnovni teoretični pristop, ki omogoča boljše napovedi."

Raziskovalci so gradili na dveh obstoječih modelih, da bi ustvarili enoten teoretični prikaz težav z razumevanjem. Vsak od teh starejših modelov identificira posebnega krivca za razočarano razumevanje: težave pri pričakovanju in težave pri priklicu spomina. Težave imamo pri pričakovanju, ko nam stavek ne omogoča zlahka predvideti njegovih prihajajočih besed. Težave imamo pri priklicu po spominu, ko težko sledimo stavku, ki vsebuje zapleteno strukturo vdelanih klavzul, kot je: "Dejstvo, da je zdravnik, ki mu odvetnik ni zaupal, jezil pacienta, je bilo presenetljivo."

Leta 2020 je Futrell prvič zasnoval teorijo, ki združuje ta dva modela. Trdil je, da omejitve v spominu ne vplivajo le na iskanje v stavkih z vdelanimi klavzulami, ampak pestijo vse razumevanje jezika; naše spominske omejitve nam ne dovoljujejo popolnega predstavljanja stavčnih kontekstov med bolj splošnim razumevanjem jezika.

Tako lahko v skladu s tem enotnim modelom omejitve spomina ustvarijo nov vir težav pri pričakovanju. Lahko imamo težave s predvidevanjem prihajajoče besede v stavku, tudi če bi morala biti beseda zlahka predvidljiva iz konteksta - v primeru, da je sam kontekst stavka težko zadržati v spominu. Razmislite, na primer, o stavku, ki se začne z besedami "Bob je vrgel smeti ..." lahko zlahka predvidimo zadnjo besedo - "ven." Toda če je kontekst stavka pred zadnjo besedo bolj zapleten, se pojavijo težave pri pričakovanju: "Bob je vrgel stare smeti, ki so nekaj dni ležale v kuhinji [ven]."
 
Raziskovalci kvantificirajo težave z razumevanjem z merjenjem časa, ki ga bralci potrebujejo, da se odzovejo na različne naloge za razumevanje. Daljši kot je odzivni čas, bolj zahtevno je razumevanje danega stavka. Rezultati predhodnih poskusov so pokazali, da je Futrellov poenoten račun bolje napovedal težave z razumevanjem bralcev kot oba starejša modela. Toda njegov model ni ugotovil, katere dele stavka pozabljamo - in kako natančno ta napaka pri pridobivanju spomina zamegljuje razumevanje.

Hahnova nova študija zapolnjuje te vrzeli. V novem dokumentu so se kognitivni znanstveniki iz MIT pridružili Futrellu, da bi predlagali razširjeni model, ki temelji na novem skladnem teoretičnem okviru. Novi model prepozna in popravi manjkajoče elemente v Futrellovem poenotenem računu in zagotavlja nova natančno prilagojena predvidevanja, ki se bolje ujemajo z rezultati empiričnih poskusov.

Kot v Futrellovem prvotnem modelu, raziskovalci začnejo z idejo, da naš um zaradi omejitev spomina ne predstavlja popolnoma stavkov, s katerimi se srečamo. Toda k temu dodajajo še teoretično načelo kognitivne učinkovitosti. Predlagajo, da se um nagiba k uporabi svojih omejenih spominskih virov na način, ki optimizira njegovo sposobnost natančnega predvidevanja novih vnosov besed v stavkih.

Ta pojem vodi do več empiričnih napovedi. Po eni od ključnih napovedi bralci kompenzirajo svoje nepopolne spominske predstavitve tako, da se zanašajo na svoje znanje o statističnem sopojavljanju besed, da bi implicitno rekonstruirali stavke, ki so jih prebrali v svojih mislih. Stavke, ki vključujejo redkejše besede in besedne zveze, si je zato težje popolnoma zapomniti, zaradi česar je težje predvideti prihajajoče besede. Posledično so takšni stavki na splošno težji za razumevanje.

Da bi ocenili, ali se ta napoved ujema z našim jezikovnim vedenjem, so raziskovalci uporabili GPT-2, orodje naravnega jezika AI, ki temelji na modeliranju nevronske mreže. To orodje za strojno učenje, ki je bilo prvič objavljeno leta 2019, je raziskovalcem omogočilo testiranje modela na obsežnih besedilnih podatkih na način, ki prej ni bil mogoč. Toda zmogljiva zmogljivost jezikovnega modeliranja GPT-2 je povzročila tudi težavo: v nasprotju s človekom brezmadežni spomin GPT-2 popolnoma predstavlja vse besede v celo zelo dolgih in zapletenih besedilih, ki jih obdeluje. Za natančnejšo opredelitev razumevanja človeškega jezika so raziskovalci dodali komponento, ki simulira človeku podobne omejitve pomnilniških virov – kot v izvirnem modelu Futrell – in uporabili tehnike strojnega učenja za optimizacijo uporabe teh virov – kot v njihovem novem predlaganem modelu. Nastali model ohranja zmožnost GPT-2, da večino časa natančno napoveduje besede, vendar prikazuje človeške razčlenitve v primerih stavkov z redkimi kombinacijami besed in fraz.

"To je čudovita ilustracija, kako lahko sodobna orodja strojnega učenja pomagajo razviti kognitivno teorijo in naše razumevanje delovanja uma," pravi Gibson. "Te raziskave tukaj ne bi mogli izvesti niti pred nekaj leti."

Raziskovalci so modelu strojnega učenja dodali niz stavkov s kompleksnimi vdelanimi klavzulami, kot je: "Poročilo, da je zdravnik, ki mu odvetnik ni zaupal, razjezilo pacienta, je bilo presenetljivo." Raziskovalci so nato vzeli te stavke in zamenjali njihove začetne samostalnike - "poročilo" v zgornjem primeru - z drugimi samostalniki, vsak s svojo verjetnostjo, da se bo pojavil z naslednjo klavzulo ali ne. Nekateri samostalniki so programu AI olajšali "razumevanje" stavkov, v katere so bili umeščeni. Na primer, model je lahko natančneje predvidel, kako se ti stavki končajo, ko so se začeli z običajnim izrazom »Dejstvo, da«, kot ko so se začeli z redkejšim izrazom »Poročilo, da«.

Raziskovalci so se nato odločili potrditi rezultate, ki temeljijo na AI, z izvajanjem poskusov z udeleženci, ki so brali podobne stavke. Njihov odzivni čas na naloge razumevanja je bil podoben tistemu iz napovedi modela. »Ko se stavki začnejo z besedami 'poročaj to', so si ljudje stavka zapomnili na popačen način,« pravi Gibson. Redko fraziranje je dodatno omejevalo njihov spomin in posledično njihovo razumevanje.

Ti rezultati kažejo, da novi model presega obstoječe modele pri napovedovanju, kako ljudje obdelujejo jezik.

Druga prednost modela je njegova zmožnost ponujanja različnih napovedi od jezika do jezika. "Predhodni modeli so znali pojasniti, zakaj je z določenimi jezikovnimi strukturami, kot so stavki z vdelanimi klavzulami, na splošno težje delati znotraj omejitev spomina, vendar lahko naš novi model pojasni, zakaj se iste omejitve v različnih jezikih obnašajo drugače," pravi Levy. »Zdi se, na primer, da so stavki s sredinsko vdelanimi klavzulami lažji za materne govorce nemščine kot materni govorci angleščine, saj so govorci nemščine navajeni brati stavke, kjer podrejeni členi glagol potisnejo na konec stavka.«

Po mnenju Levyja so potrebne nadaljnje raziskave modela, da bi ugotovili vzroke za netočno predstavitev stavkov, razen vdelanih klavzul. "Obstajajo še druge vrste" zmešnjav ", ki jih moramo preizkusiti." Hkrati, dodaja Hahn, »model lahko napove druge 'zmede', na katere nihče niti pomislil ni. Zdaj jih poskušamo najti in ugotoviti, ali vplivajo na človeško razumevanje, kot je bilo predvideno."

Drugo vprašanje za prihodnje študije je, ali bo novi model privedel do ponovnega razmisleka o dolgi vrsti raziskav, ki se osredotočajo na težave integracije stavkov: "Številni raziskovalci so poudarili težave v zvezi s procesom, v katerem rekonstruiramo jezikovne strukture v naših glavah," pravi Levy. »Novi model verjetno kaže, da se težava ne nanaša na proces miselne rekonstrukcije teh stavkov, ampak na ohranjanje mentalne reprezentacije, ko so že zgrajeni. Veliko vprašanje je, ali gre za dve ločeni stvari ali ne.”

Tako ali drugače, dodaja Gibson, "tovrstno delo označuje prihodnost raziskav o teh vprašanjih."

<!–
->

spot_img

Najnovejša inteligenca

spot_img