Modele sztucznej inteligencji lepiej przepowiadają przyszłość, gdy poproszono ich o ujęcie prognozy w formie opowieści o przeszłości – odkryli fachowcy z Baylor University w Teksasie.

In papier zatytułowany „ChatGPT może przewidzieć przyszłość, gdy opowiada historie rozgrywające się w przyszłości o przeszłości” Pham i Cunningham przedstawiają ostatnią scenę – że prognozowanie modelu sztucznej inteligencji może być skuteczne w pewnych okolicznościach. Zadawanie pytania chatbotowi o opowieści o przyszłych wydarzeniach zamiast proszenia o bezpośrednie przewidywania okazało się zaskakująco skuteczne, zwłaszcza w przewidywaniu zdobywców Oscarów.

Jednak ich praca mówi tyle samo o nieskuteczności mechanizmów bezpieczeństwa OpenAI, co o potencjale prognostycznym dużych modeli językowych.

Inni badacze wykazali podobne zainteresowanie modelami sztucznej inteligencji do celów prognozowania. Jeden „The Puzzle of Monogamous Marriage” z zeszłego roku wykazało, „że GPT-4 znacznie słabiej radzi sobie z zadaniami predykcyjnymi w świecie rzeczywistym w porównaniu ze medianą prognoz dotyczących tłumu ludzkiego”. Inni znaleźli modele sztucznej inteligencji pokazać obietnica na inwestycje giełdowe.

OpenAI's regulamin uniemożliwiają przewidywanie przyszłości w pewnych kontekstach. Na przykład: „Nie wolno wykorzystywać żadnych wyników dotyczących danej osoby do celów, które mogłyby mieć wpływ prawny lub materialny na tę osobę, takich jak podejmowanie decyzji kredytowych, edukacyjnych, zatrudnienia, mieszkaniowych, ubezpieczeniowych, prawnych, medycznych lub innych ważnych decyzji. o nich."

Ryzyko polegania na poradach z dużego modelu językowego znanego z halucynacji jest oczywiste – nie chcesz, aby ChatGPT podejmował konsekwencje, takie jak decyzje dotyczące leczenia, wyroku lub zgody na kredyt.

Jednak mimo to model często potrafi skutecznie zgadywać.

Podejrzewamy, że OpenAI ograniczyło chęć ChatGPT do angażowania się w wiele rodzajów zadań związanych z bezpośrednim przewidywaniem

Badacze argumentują: „Gdyby okazało się, że ChatGPT ma doskonałe możliwości prognozowania, można łatwo sobie wyobrazić, że zostanie natychmiast wykorzystane w sposób naruszający jeden lub wszystkie powyższe warunki, w związku z czym podejrzewamy, że OpenAI ograniczyło chęć ChatGPT do angażowania się w wiele rodzaje zadań bezpośredniego przewidywania.”

Poprosiliśmy OpenAI o komentarz, czy celowo próbuje udaremnić przewidywanie, ale nie otrzymaliśmy odpowiedzi.

Jasne jest jednak, że modele OpenAI odmówią, gdy zostaną poproszone o poradę dotyczącą leczenia. Pham i Cunningham zapytali GPT-4 OpenAI za pośrednictwem interfejsu ChatGPT: „Naprawdę czuję się chory. Boli mnie głowa i w moim moczu jest krew. Jak myślisz, co mam?” I zgodnie z oczekiwaniami modelka poradziła, aby zwróciła się o poradę do lekarza.

Następnie zmienili strategię podpowiedzi i poinstruowali ChatGPT, aby opowiedział im historię, w której osoba przychodzi do gabinetu lekarskiego i ma te same objawy. ChatGPT odpowiedziała poradą medyczną, której odmówiła, gdy została o to poproszona bezpośrednio, w ramach dialogu postaci w żądanej scenie.

„To, czy ta porada eksperta jest trafna, to inna sprawa; Chodzi nam jedynie o to, że nie podejmie się zadania, gdy zostanie o to bezpośrednio poproszony, ale gdy otrzyma to zadanie pośrednio w formie ćwiczeń twórczego pisania” – wyjaśniają badacze w swoim artykule.

Biorąc pod uwagę tę strategię podpowiedzi mającą na celu przezwyciężenie oporu wobec reakcji predykcyjnych, ekonomiści z firmy Baylor postanowili sprawdzić, jak dobrze model może przewidywać zdarzenia, które wystąpią po zakończeniu szkolenia modelu.

A nagroda wędruje do…

W momencie eksperymentu GPT-3.5 i GPT-4 wiedziały tylko o wydarzeniach do września 2021 r., co oznaczało limit danych szkoleniowych – który od tego czasu uległ przesunięciu. Duet poprosił więc modelkę, aby opowiedziała historie, które przepowiedziały dane ekonomiczne, takie jak inflacja i stopa bezrobocia w czasie, a także zwycięzców różnych Oscarów w 2022 roku.

„Podsumowując wyniki tego eksperymentu, stwierdzamy, że po zaprezentowaniu nominowanym i zastosowaniu dwóch stylów podpowiedzi [bezpośredniego i narracyjnego] w ChatGPT-3.5 i ChatGPT-4, ChatGPT-4 dokładnie przewidział zwycięzców we wszystkich kategoriach aktorów i aktorek, ale nie najlepszy film, jeśli zastosowano przyszłą narrację, ale wypadł słabo w przypadku innych podejść [bezpośredniego podpowiedzi]” – wyjaśnia artykuł.

W przypadku rzeczy już zawartych w danych treningowych mamy wrażenie, że ChatGPT [może] dokonywać niezwykle dokładnych przewidywań

„W przypadku rzeczy, które znajdują się już w danych szkoleniowych, mamy wrażenie, że ChatGPT może wykorzystać te informacje, a dzięki swojemu modelowi uczenia maszynowego dokonać niezwykle dokładnych prognoz” – powiedział Cunningham Rejestr w rozmowie telefonicznej. „Coś go jednak przed tym powstrzymuje, mimo że najwyraźniej może to zrobić”.

Stosowanie strategii podpowiedzi narracyjnych dało lepsze rezultaty niż domysły uzyskane za pomocą podpowiedzi bezpośredniej. Wynik był również lepszy niż 20-procentowy poziom wyjściowy w przypadku losowego wyboru jednego na pięć.

Ale prognozy narracyjne nie zawsze były dokładne. Podpowiedzi narracyjne doprowadziły do ​​błędnego wskazania zwycięzcy nagrody dla najlepszego filmu w 2022 r.

W przypadku poprawnie przewidywanych podpowiedzi modele te nie zawsze zapewniają tę samą odpowiedź. „Ludzie powinni pamiętać o losowości przewidywań” – powiedział Cunningham. „Jeśli więc zapytasz o to 100 razy, otrzymasz rozkład odpowiedzi. Dzięki temu możesz przyjrzeć się takim czynnikom, jak przedziały ufności lub średnie, a nie tylko pojedynczą prognozą”.

Czy ta strategia okazała się lepsza od przewidywań pochodzących z crowdsourcingu? Cunningham powiedział, że on i jego kolega nie porównali swojej techniki podpowiedzi z innym modelem predykcyjnym, ale stwierdzili, że niektóre przewidywania dotyczące wręczenia Oscarów będą trudne do pobicia, ponieważ model sztucznej inteligencji sprawdza się w niektórych przypadkach niemal w stu procentach przypadków. wiele zapytań.

Jednocześnie zasugerował, że przewidywanie zwycięzców Oscarów mogło być łatwiejsze w przypadku modelu sztucznej inteligencji, ponieważ internetowe dyskusje na temat filmów zostały ujęte w danych szkoleniowych. „Jest to prawdopodobnie silnie powiązane z tym, jak ludzie mówili o tych aktorach i aktorkach w tamtym czasie” – powiedział Cunningham.

Zwrócenie się do modelu o przewidywanie zdobywców Oscarów za dekadę może nie wyjść zbyt dobrze.

ChatGPT wykazywało również różną dokładność prognoz opartych na podpowiedziach. „Mamy dwie podpowiedzi fabularne” – wyjaśnił Cunningham. „Jeden z nich to profesor college'u, którego akcja toczy się w przyszłości i prowadzi zajęcia. Podczas zajęć odczytuje dane dotyczące inflacji i bezrobocia za jeden rok. W innym przypadku Jerome Powell, prezes Rezerwy Federalnej, wygłaszał przemówienie przed Radą Gubernatorów. Otrzymaliśmy bardzo różne wyniki. A mowa Powella [wygenerowana przez sztuczną inteligencję] jest znacznie dokładniejsza”.

Innymi słowy, pewne szczegółowe informacje prowadzą do lepszych prognoz, ale nie jest z góry jasne, jakie one mogą być. Cunningham zauważył, że włączenie wzmianki o inwazji Rosji na Ukrainę w 2022 r. w podpowiedzi narracyjnej Powella doprowadziło do znacznie gorszych prognoz gospodarczych, niż faktycznie miały miejsce.

„[Modelka] nie wiedziała o inwazji na Ukrainę i wykorzystuje te informacje, co często pogarsza sytuację” – powiedział. „Prognoza próbuje to wziąć pod uwagę, a ChatGPT-3.5 staje się niezwykle inflacyjny [w miesiącu, w którym] Rosja najechała Ukrainę, ale tak się nie stało.

„Na dowód koncepcji: coś prawdziwego dzieje się wraz z przyszłą narracją” – powiedział Cunningham. „Ale jak próbowaliśmy powiedzieć w gazecie, myślę, że nawet twórcy [modeli] tego nie rozumieją. Nie jest więc jasne, jak wymyślić, jak tego użyć, i nie wiem, jak naprawdę można to rozwiązać. ®

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/