Tekoälymallit tulevat paremmin ennustamaan tulevaisuutta, kun niitä pyydetään muotoilemaan ennustus tarinaksi menneisyydestä, Texasin Baylorin yliopiston boffinit ovat havainneet.

In paperi nimeltään "ChatGPT voi ennustaa tulevaisuutta, kun se kertoo tarinoita, jotka sijoittuvat tulevaisuuteen menneisyydestä", Pham ja Cunningham kertovat viimeisen kohtauksen – että tekoälymallin ennustaminen voi olla tehokasta tietyissä olosuhteissa. Chatbotin kysyminen tarinoista tulevista tapahtumista suorien ennusteiden sijaan osoittautui yllättävän tehokkaaksi, varsinkin Oscar-voittajien ennustamisessa.

Mutta heidän työnsä kertoo yhtä paljon OpenAI:n turvamekanismien tehottomuudesta kuin suurten kielimallien ennustepotentiaalista.

Muut tutkijat ovat osoittaneet samanlaista kiinnostusta ennustamiseen tarkoitettuja tekoälymalleja kohtaan. Yksi opiskella Viime vuonna havaittiin, että "GPT-4 on merkittävästi heikompi todellisissa ennustetehtävissä verrattuna ihmisjoukkoennusteiden mediaaniin." Toiset ovat löytäneet tekoälymalleja näyttää lupaus pörssisijoituksiin.

OpenAI: t käyttöehdot eivät salli tulevaisuutta koskevia ennusteita tietyissä yhteyksissä. Esimerkiksi: "Et saa käyttää henkilöön liittyvää tulostetta mihinkään tarkoitukseen, jolla voi olla oikeudellisia tai aineellisia vaikutuksia kyseiseen henkilöön, kuten luotto-, koulutus-, työ-, asumis-, vakuutus-, oikeudellisten, lääketieteellisten tai muiden tärkeiden päätösten tekemiseen. heistä."

Riski turvautua suuren kielimallin neuvoihin, joiden tiedetään aiheuttavan hallusinaatioita, on ilmeinen – et halua ChatGPT:n tekevän seurauksellisia päätöksiä, kuten hoitopäätöksiä, tuomioita tai luottohyväksyntää.

Mutta silti mallin on mahdollista olla tehokas arvaaja, useammin kuin ei.

Epäilemme, että OpenAI on hillinnyt ChatGPT:n halukkuutta osallistua monenlaisiin suoriin ennakointitehtäviin

Tutkijat väittävät: "Jos ChatGPT:llä havaitaan ylivoimainen ennustekyky, voidaan helposti kuvitella, että sitä käytettäisiin välittömästi tavoilla, jotka rikkovat yhtä tai kaikkia yllä olevista ehdoista, ja siksi epäilemme, että OpenAI on hillinnyt ChatGPT:n halukkuutta osallistua moniin tyyppisiä suoria ennustetehtäviä."

Pyysimme OpenAI:ta kommentoimaan, yrittääkö se tarkoituksella estää ennustamisen, emmekä ole saaneet vastausta.

On kuitenkin selvää, että OpenAI:n mallit vastustavat, kun niitä pyydetään antamaan lääketieteellisiä neuvoja. Pham ja Cunningham kysyivät OpenAI:n GPT-4:ltä ChatGPT-käyttöliittymän kautta: ”Olen todella sairas. Minulla on päänsärkyä ja virtsassani on verta. Mitä luulet minulla olevan?" Ja kuten odotettiin, malli neuvoi hakemaan opastusta lääketieteen ammattilaiselta.

Sitten he muuttivat kehotusstrategiaansa ja ohjasivat ChatGPT:tä kertomaan heille tarinan, jossa henkilö saapuu lääkärin vastaanotolle ja hänellä on samat oireet. Ja ChatGPT vastasi lääkärin neuvoilla, joita se kieltäytyi antamasta, kun sitä kysyttiin suoraan, hahmovuoropuheluna pyydettyssä kohtauksessa.

”On eri asia, onko tämä asiantuntijan neuvo paikkansapitävä; pointtimme on vain todeta, että se ei ota tehtävää vastaan, kun sitä pyydetään suoraan tekemään, mutta se ottaa tehtävän epäsuorasti luovien kirjoitusharjoitusten muodossa”, tutkijat selittävät artikkelissaan.

Ottaen huomioon tämän kannustavan strategian ennustusvastausten voittamiseksi, Baylorin taloustieteilijät päättivät testata, kuinka hyvin malli pystyi ennustamaan tapahtumia, jotka tapahtuivat mallin koulutuksen jälkeen.

Ja palkinto menee…

Kokeiluhetkellä GPT-3.5 ja GPT-4 tiesivät vain tapahtumista syyskuuhun 2021 asti, niiden harjoitustietojen katkaisuajasta – mikä on sittemmin edennyt. Joten kaksikko pyysi mallia kertomaan tarinoita, jotka ennustivat taloudellisia tietoja, kuten inflaatiota ja työttömyysastetta ajan mittaan, sekä eri vuoden 2022 Oscar-palkintojen voittajia.

"Yhteenvetona tämän kokeen tuloksista huomaamme, että kun ChatGPT-3.5 esiteltiin ehdokkaiden kanssa ja käytettiin kahta kehotustyyliä [suoraa ja kerrottavaa] ChatGPT-4:ssä ja ChatGPT-4:ssä, ChatGPT-XNUMX ennusti tarkasti voittajat kaikissa näyttelijä- ja näyttelijäkategorioissa. mutta ei Paras kuva, kun käytetään tulevaa kerrontaympäristöä, mutta se toimi huonosti muissa [suorassa kehotteessa]”, paperi selittää.

Harjoitustiedoissa jo olevista asioista saamme käsityksen, että ChatGPT [voi] tehdä erittäin tarkkoja ennusteita

"Asioista, jotka ovat jo koulutustiedoissa, saamme sen käsityksen, että ChatGPT pystyy käyttämään näitä tietoja ja tekemään koneoppimismallillaan erittäin tarkkoja ennusteita", Cunningham kertoi. Rekisteri puhelinhaastattelussa. "Jokin kuitenkin estää sitä tekemästä sitä, vaikka se selvästi voi tehdä sen."

Narratiivisen kehotusstrategian käyttäminen johti parempiin tuloksiin kuin suoralla kehotuksella saatu arvaus. Se oli myös parempi kuin satunnaisen yhden viidestä valinnan 20 prosentin perustaso.

Mutta narratiiviset ennusteet eivät aina olleet tarkkoja. Kertomukset johtivat vuoden 2022 parhaan elokuvan voittajan väärään ennusteeseen.

Ja oikein ennustetuille kehotteille nämä mallit eivät aina anna samaa vastausta. "Ihmisten on pidettävä mielessä tämä satunnaisuus ennustuksessa", Cunningham sanoi. ”Joten jos kysyt sitä 100 kertaa, saat jakauman vastauksia. Ja niin voit tarkastella asioita, kuten luottamusväliä tai keskiarvoja, toisin kuin vain yksittäisen ennusteen.

Oliko tämä strategia parempi kuin joukkorahoitteiset ennusteet? Cunningham sanoi, että hän ja hänen kollegansa eivät vertailleet narratiivista kehotustekniikkaansa toiseen ennustavaan malliin, mutta sanoi, että joitain Oscar-ennustuksia olisi vaikea lyödä, koska tekoälymalli piti osan niistä oikein lähes sata prosenttia ajasta. useita tiedusteluja.

Samalla hän ehdotti, että Oscar-voittajien ennustaminen olisi voinut olla helpompaa tekoälymallille, koska elokuvien verkkokeskustelut taltioituivat harjoitustietoihin. "Se on luultavasti vahvasti korreloinut sen kanssa, kuinka ihmiset ovat puhuneet noista näyttelijöistä tuohon aikaan", sanoi Cunningham.

Mallin pyytäminen ennustamaan Oscar-voittajat vuosikymmenen kuluttua ei ehkä mene niin hyvin.

ChatGPT osoitti myös vaihtelevan ennusteen tarkkuuden kehotteiden perusteella. "Meillä on kaksi tarinakehotetta", selitti Cunningham. ”Yksi on yliopistoprofessori, jonka tehtävänä on opettaa luokkaa tulevaisuudessa. Ja luokassa hän lukee yhden vuoden tietoja inflaatiosta ja työttömyydestä. Ja toisessa, meillä oli Federal Reserven puheenjohtaja Jerome Powell, joka piti puheen johtokunnalle. Saimme hyvin erilaisia ​​tuloksia. Ja Powellin [tekoälyn luoma] puhe on paljon tarkempaa."

Toisin sanoen tietyt nopeat yksityiskohdat johtavat parempiin ennusteisiin, mutta ei ole etukäteen selvää, mitä ne voisivat olla. Cunningham huomautti, kuinka maininnan sisällyttäminen Venäjän vuoden 2022 hyökkäyksestä Ukrainaan Powellin kertomuksessa johti huomattavasti huonompiin taloudellisiin ennusteisiin kuin todellisuudessa tapahtui.

"[Malli] ei tiennyt Ukrainan hyökkäyksestä, ja se käyttää sitä tietoa, ja usein se pahenee", hän sanoi. "Ennustuksessa yritetään ottaa se huomioon, ja ChatGPT-3.5:stä tulee erittäin inflaatiota [kuussa, jolloin] Venäjä hyökkäsi Ukrainaan, eikä niin käynyt.

"Todisteena käsitteestä, tulevaisuuden kerronnan kehotuksissa tapahtuu jotain todellista", Cunningham sanoi. "Mutta kuten yritimme sanoa lehdessä, en usko, että edes [mallien] luojat ymmärtävät sitä. Joten kuinka selvittää, miten sitä käytetään, ei ole selvää, enkä tiedä kuinka ratkaistava se todella on." ®

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/