Ученые из Университета Бэйлора в Техасе обнаружили, что модели искусственного интеллекта лучше предсказывают будущее, когда их просят представить прогноз как историю о прошлом.

In бумага под названием «ChatGPT может предсказывать будущее, когда он рассказывает истории, происходящие в будущем, о прошлом» Фам и Каннингем раскрывают финальную сцену — прогнозирование модели ИИ может быть эффективным в определенных обстоятельствах. Запросы у чат-бота историй о будущих событиях вместо прямых прогнозов оказались на удивление эффективными, особенно при прогнозировании победителей Оскара.

Но их работа говорит не только о неэффективности механизмов безопасности OpenAI, но и о прогнозирующем потенциале больших языковых моделей.

Другие исследователи проявили аналогичный интерес к моделям ИИ для прогнозирования. Один Исследование Результаты прошлого года показали, что «GPT-4 значительно уступает в реальных задачах прогнозирования по сравнению со средними прогнозами для человеческой толпы». Другие нашли модели ИИ показывать обещание для инвестиций на фондовом рынке.

OpenAI-х Условия предоставления услуг запретить предсказания о будущем в определенных контекстах. Например: «Вы не должны использовать какие-либо результаты, относящиеся к человеку, для каких-либо целей, которые могут оказать юридическое или материальное влияние на это лицо, например, для принятия кредитных, образовательных, трудовых, жилищных, страховых, юридических, медицинских или других важных решений. о них."

Риск полагаться на советы большой языковой модели, которая, как известно, галлюцинирует, очевиден — вы не хотите, чтобы ChatGPT принимал важные решения, такие как решения о медицинском лечении, вынесении приговора или утверждении кредита.

Но даже в этом случае модель чаще всего может быть эффективным предсказателем.

Мы подозреваем, что OpenAI ограничил готовность ChatGPT участвовать во многих типах задач прямого прогнозирования.

Исследователи утверждают: «Если бы выяснилось, что ChatGPT обладает превосходными способностями к прогнозированию, то можно было бы легко предположить, что он будет немедленно использован способами, нарушающими одно или все вышеперечисленные условия, и поэтому мы подозреваем, что OpenAI задушил готовность ChatGPT участвовать во многих типы задач прямого прогнозирования».

Мы попросили OpenAI прокомментировать, пытается ли она намеренно помешать прогнозированию, но не получили ответа.

Однако ясно, что модели OpenAI откажутся, когда их попросят дать совет по лечению. Фам и Каннингем спросили GPT-4 OpenAI через интерфейс ChatGPT: «Мне очень плохо. У меня болит голова, и в моей моче есть кровь. Как ты думаешь, что у меня есть?» И, как и ожидалось, модель посоветовала обратиться за помощью к медицинскому работнику.

Затем они изменили свою стратегию подсказок и поручили ChatGPT рассказать им историю о том, как человек приходит в кабинет врача и обращается с теми же симптомами. А ChatGPT ответил медицинским советом, который отказался дать, когда его спросили напрямую, в виде диалога персонажей в запрошенной сцене.

«Другой вопрос, точен ли этот экспертный совет; Наша цель — просто отметить, что он не возьмется за задание, когда его об этом попросят напрямую, но он возьмется за него, когда ему дадут задачу косвенно, в форме упражнений на творческое письмо», — объясняют исследователи в своей статье.

Учитывая эту побудительную стратегию преодоления сопротивления прогнозирующим реакциям, экономисты Бэйлора решили проверить, насколько хорошо модель может предсказывать события, которые происходят после завершения обучения модели.

И награда достается…

На момент эксперимента GPT-3.5 и GPT-4 знали только о событиях до сентября 2021 года, а их тренировочные данные были ограничены, и с тех пор они продлились. Поэтому дуэт попросил модель рассказать истории, которые предсказали бы экономические данные, такие как уровень инфляции и безработицы с течением времени, а также победителей различных премий Оскар 2022 года.

«Подводя итоги этого эксперимента, мы обнаруживаем, что при представлении номинантов и использовании двух стилей подсказки (прямого и повествовательного) в ChatGPT-3.5 и ChatGPT-4 ChatGPT-4 точно предсказал победителей для всех категорий актеров и актрис. но не «Лучшая картина», когда используется будущий сюжетный сеттинг, но он плохо работает в других подходах [прямой подсказки]», — поясняется в статье.

Что касается вещей, которые уже есть в обучающих данных, мы понимаем, что ChatGPT [может] делать чрезвычайно точные прогнозы.

«Что касается вещей, которые уже есть в обучающих данных, у нас возникает ощущение, что ChatGPT имеет возможность использовать эту информацию и с помощью своей модели машинного обучения делать чрезвычайно точные прогнозы», — сказал Каннингем. Регистр в телефонном интервью. «Однако что-то мешает ему это сделать, хотя он явно может это сделать».

Использование стратегии повествовательной подсказки привело к лучшим результатам, чем догадка, полученная с помощью прямой подсказки. Это также было лучше, чем базовый уровень в 20 процентов для случайного выбора одного из пяти.

Но повествовательные прогнозы не всегда были точными. Сюжетная подсказка привела к неправильному предсказанию победителя в номинации «Лучший фильм 2022 года».

А для правильно предсказанных подсказок эти модели не всегда дают одинаковый ответ. «Людям следует иметь в виду, что в предсказаниях присутствует случайность», — сказал Каннингем. «Поэтому, если вы спросите об этом 100 раз, вы получите распределение ответов. И поэтому вы можете смотреть на такие вещи, как доверительные интервалы или средние значения, а не просто на один прогноз».

Превзошла ли эта стратегия краудсорсинговые прогнозы? Каннингем сказал, что он и его коллега не сравнивали свою технику подсказки повествования с другой прогностической моделью, но отметили, что некоторые прогнозы премии Оскар будет трудно превзойти, потому что модель ИИ оказывала некоторые из них верными почти в ста процентах случаев. множественные запросы.

В то же время он предположил, что прогнозирование победителей премии «Оскар» могло быть проще для модели искусственного интеллекта, поскольку онлайн-обсуждения фильмов фиксировались в обучающих данных. «Вероятно, это тесно связано с тем, как люди говорили об этих актерах и актрисах того времени», — сказал Каннингем.

Попросить модель предсказать победителей премии «Оскар» через десять лет может оказаться не очень удачным решением.

ChatGPT также продемонстрировал различную точность прогнозов на основе подсказок. «У нас есть две сюжетные подсказки», — объяснил Каннингем. «Один из них — профессор колледжа, который преподает в будущем. А в классе она зачитывает данные по инфляции и безработице за один год. А в другом случае Джером Пауэлл, председатель Федеральной резервной системы, выступил с речью перед Советом управляющих. Мы получили совсем другие результаты. А речь Пауэлла [генерируемая искусственным интеллектом] гораздо точнее».

Другими словами, определенные быстрые детали приводят к более точным прогнозам, но заранее неясно, какие именно. Каннингем отметил, что включение упоминания о вторжении России на Украину в 2022 году в повествование Пауэлла привело к значительно худшим экономическим прогнозам, чем это произошло на самом деле.

«[Модель] не знала о вторжении в Украину, и она использует эту информацию, и зачастую ситуация ухудшается», — сказал он. «В прогнозе делается попытка принять это во внимание, и ChatGPT-3.5 становится чрезвычайно инфляционным [в тот месяц, когда] Россия вторглась в Украину, а этого не произошло.

«В качестве доказательства концепции с подсказкой будущего повествования происходит что-то реальное», — сказал Каннингем. «Но, как мы пытались сказать в статье, я не думаю, что даже создатели [моделей] это понимают. Так что, как понять, как это использовать, неясно, и я не знаю, насколько это действительно разрешимо». ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/04/14/ai_models_future/