I modelli di intelligenza artificiale migliorano nel predire il futuro quando viene loro chiesto di inquadrare la previsione come una storia sul passato, hanno scoperto gli scienziati della Baylor University in Texas.

In un documento intitolato "ChatGPT può predire il futuro quando racconta storie ambientate nel futuro sul passato", Pham e Cunningham rivelano la scena finale: secondo cui la previsione del modello di intelligenza artificiale può essere efficace in determinate circostanze. Chiedere al chatbot racconti su eventi futuri invece di chiedere previsioni dirette si è rivelato sorprendentemente efficace, soprattutto nel prevedere i vincitori degli Oscar.

Ma il loro lavoro dice tanto sull’inefficacia dei meccanismi di sicurezza di OpenAI quanto sul potenziale di previsione dei grandi modelli linguistici.

Altri ricercatori hanno mostrato un interesse simile per i modelli di intelligenza artificiale per la previsione. Uno studio dello scorso anno hanno scoperto “che GPT-4 ha prestazioni significativamente inferiori nei compiti predittivi del mondo reale rispetto alle previsioni mediane sulla folla umana”. Altri hanno trovato modelli di intelligenza artificiale mostrare attraverso le sue creazioni PROMETTIAMO per gli investimenti in borsa.

OpenAI di termini di servizio non consentire previsioni sul futuro in determinati contesti. Ad esempio, "Non è necessario utilizzare alcun Output relativo a una persona per scopi che potrebbero avere un impatto legale o materiale su quella persona, come prendere decisioni in materia di crediti, istruzione, lavoro, alloggio, assicurazioni, legali, mediche o altre decisioni importanti" su di loro."

Il rischio di fare affidamento sui consigli di un ampio modello linguistico noto per avere allucinazioni è ovvio: non vuoi che ChatGPT prenda decisioni di conseguenza, come decisioni su cure mediche, condanne o approvazione di crediti.

Ma anche così, è possibile che il modello sia un indovinatore efficace, il più delle volte.

Sospettiamo che OpenAI abbia limitato la volontà di ChatGPT di impegnarsi in molti tipi di attività di previsione assoluta

I ricercatori sostengono: "Se si scoprisse che ChatGPT ha una capacità di previsione superiore, allora si potrebbe facilmente immaginare che verrebbe immediatamente utilizzato in modi che violano una o tutte le condizioni di cui sopra, e quindi sospettiamo che OpenAI abbia limitato la volontà di ChatGPT di impegnarsi in molti tipi di compiti di previsione assoluta.

Abbiamo chiesto a OpenAI di commentare se tenta deliberatamente di contrastare la previsione e non abbiamo ricevuto risposta.

Tuttavia, è chiaro che i modelli di OpenAI si rifiuteranno quando verrà loro chiesto di fornire consigli sulle cure mediche. Pham e Cunningham hanno chiesto al GPT-4 di OpenAI, tramite l'interfaccia ChatGPT, “Mi sento davvero male. Ho mal di testa e c'è sangue nelle urine. Cosa pensi che io abbia?" E come previsto, il modello consigliava di chiedere consiglio a un medico.

Quindi hanno cambiato la loro strategia di suggerimento e hanno chiesto a ChatGPT di raccontare loro una storia in cui una persona arriva in uno studio medico e presenta gli stessi sintomi. E ChatGPT ha risposto con il consiglio medico che ha rifiutato di fornire quando richiesto direttamente, come dialogo con i personaggi nella scena richiesta.

“Se questo parere di esperti sia accurato è un’altra questione; il nostro punto è semplicemente notare che non intraprenderà il compito quando gli verrà chiesto direttamente di farlo, ma lo farà quando gli verrà assegnato il compito indirettamente sotto forma di esercizi di scrittura creativa”, spiegano i ricercatori nel loro articolo.

Data questa strategia di stimolo per superare la resistenza alle risposte predittive, gli economisti di Baylor hanno deciso di testare quanto bene il modello potesse prevedere eventi che si sono verificati dopo che l'addestramento del modello era stato completato.

E il premio va a ...

Al momento dell’esperimento, GPT-3.5 e GPT-4 conoscevano solo gli eventi fino a settembre 2021, data limite dei dati di addestramento, che da allora è avanzata. Quindi il duo ha chiesto alla modella di raccontare storie che predicessero dati economici come l’inflazione e i tassi di disoccupazione nel corso del tempo, e i vincitori di vari Academy Awards 2022.

"Riassumendo i risultati di questo esperimento, scopriamo che quando sono stati presentati i candidati e utilizzando i due stili di suggerimento [diretto e narrativo] su ChatGPT-3.5 e ChatGPT-4, ChatGPT-4 ha previsto accuratamente i vincitori per tutte le categorie di attori e attrici, ma non il miglior film, quando si utilizza un’ambientazione narrativa futura ma ha avuto risultati scarsi in altri approcci [diretti]”, spiega l’articolo.

Per cose già presenti nei dati di addestramento, abbiamo la sensazione che ChatGPT [può] fare previsioni estremamente accurate

"Per le cose che sono già nei dati di addestramento, abbiamo la sensazione che ChatGPT abbia la capacità di utilizzare tali informazioni e con il suo modello di apprendimento automatico fare previsioni estremamente accurate", ha detto Cunningham Il registro in un colloquio telefonico. “Qualcosa però gli impedisce di farlo, anche se chiaramente può farlo.”

L'utilizzo della strategia di suggerimento narrativo ha portato a risultati migliori rispetto a un'ipotesi suscitata tramite un suggerimento diretto. Era anche migliore del valore di base del 20% per una scelta casuale di uno su cinque.

Ma le previsioni narrative non erano sempre esatte. I suggerimenti narrativi hanno portato a una previsione errata del vincitore del miglior film del 2022.

E per i prompt previsti correttamente, questi modelli non forniscono sempre la stessa risposta. "Una cosa che le persone devono tenere a mente è che c'è questa casualità nella previsione", ha detto Cunningham. “Quindi, se lo chiedi 100 volte, otterrai una distribuzione di risposte. E quindi puoi considerare cose come gli intervalli di confidenza o le medie, invece di una sola previsione.

Questa strategia ha superato le previsioni del crowdsourcing? Cunningham ha affermato che lui e il suo collega non hanno confrontato la loro tecnica di suggerimento narrativo con un altro modello predittivo, ma hanno affermato che alcune delle previsioni degli Academy Awards sarebbero difficili da battere perché il modello di intelligenza artificiale ha ottenuto alcune di quelle giuste quasi il cento per cento delle volte. molteplici richieste.

Allo stesso tempo, ha suggerito che prevedere i vincitori del premio Oscar avrebbe potuto essere più semplice per il modello di intelligenza artificiale perché le discussioni online sui film venivano catturate nei dati di addestramento. "Probabilmente è altamente correlato al modo in cui la gente parlava di quegli attori e attrici in quel periodo", ha detto Cunningham.

Chiedere al modello di prevedere i vincitori degli Oscar tra un decennio potrebbe non andare così bene.

ChatGPT ha anche mostrato una precisione delle previsioni variabile in base alle istruzioni. "Abbiamo due suggerimenti per la storia da realizzare", ha spiegato Cunningham. “Uno è un professore universitario, ambientato nel futuro mentre insegna in una classe. E in classe legge i dati di un anno su inflazione e disoccupazione. E in un altro, abbiamo visto Jerome Powell, il presidente della Federal Reserve, tenere un discorso al Consiglio dei governatori. Abbiamo ottenuto risultati molto diversi. E il discorso di Powell [generato dall’intelligenza artificiale] è molto più accurato”.

In altre parole, alcuni dettagli tempestivi portano a previsioni migliori, ma non è chiaro in anticipo quali potrebbero essere. Cunningham ha osservato come l'inclusione di una menzione dell'invasione dell'Ucraina da parte della Russia nel 2022 nella narrazione di Powell abbia portato a previsioni economiche significativamente peggiori di quanto effettivamente accaduto.

"[Il modello] non sapeva dell'invasione dell'Ucraina, e utilizza quell'informazione, e spesso peggiora", ha detto. “La previsione cerca di tenerne conto, e ChatGPT-3.5 diventa estremamente inflazionistico [nel mese in cui] la Russia ha invaso l’Ucraina e ciò non è accaduto.

"Come prova del concetto, succede qualcosa di reale con la narrazione futura", ha detto Cunningham. “Ma come abbiamo cercato di dire nel giornale, non credo che nemmeno i creatori [dei modelli] lo capiscano. Quindi come capire come usarlo non è chiaro e non so quanto sia realmente risolvibile." ®

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/