Учёные утверждают, что агенты искусственного интеллекта, сочетающие большие языковые модели с программным обеспечением для автоматизации, могут успешно использовать реальные уязвимости безопасности, читая рекомендации по безопасности.

В недавно выпущенном бумагиЧетыре специалиста по информатике из Университета Иллинойса в Урбане-Шампейне (UIUC) — Ричард Фанг, Рохан Бинду, Акул Гупта и Дэниел Канг — сообщают, что модель большого языка OpenAI GPT-4 (LLM) может автономно использовать уязвимости в реальных системах, если они заданы. рекомендация CVE с описанием уязвимости.

«Чтобы продемонстрировать это, мы собрали набор данных из 15 однодневных уязвимостей, включая те, которые в описании CVE отнесены к категории критической серьезности», — объясняют американские авторы в своей статье.

«При наличии описания CVE GPT-4 способен использовать 87 процентов этих уязвимостей по сравнению с 0 процентами для любой другой модели, которую мы тестируем (GPT-3.5, LLM с открытым исходным кодом) и сканеров уязвимостей с открытым исходным кодом (ZAP и Metasploit). ».

Если экстраполировать на то, на что способны будущие модели, то вполне вероятно, что они будут гораздо более функциональными, чем то, к чему скрипт-кидди могут получить доступ сегодня.

Термин «уязвимость одного дня» относится к уязвимостям, которые были обнаружены, но не исправлены. Под описанием CVE команда подразумевает рекомендацию с тегом CVE, предоставленную NIST, например: вот этот для CVE-2024-28859.

Неудачные проверенные модели – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B). Instruct v0.2, Nous Hermes-2 Yi 34B и OpenChat 3.5 – не включали двух ведущих коммерческих конкурентов GPT-4, Claude 3 от Anthropic и Gemini 1.5 Pro от Google. У ученых UIUC не было доступа к этим моделям, хотя они надеются когда-нибудь их протестировать.

Работа исследователей основана на предыдущие выводы что LLM можно использовать для автоматизации атак на веб-сайты в изолированной среде.

GPT-4, — сказал Дэниел Канг, доцент UIUC, в электронном письме на адрес Регистр, «фактически может автономно выполнять действия по реализации определенных эксплойтов, которые сканеры уязвимостей с открытым исходным кодом не могут обнаружить (на момент написания)».

Канг сказал, что он ожидает, что агенты LLM будут созданы путем (в данном случае) подключения модели чат-бота к ReAct Платформа автоматизации, реализованная в LangChain, значительно облегчит эксплуатацию для всех. Нам сказали, что эти агенты могут переходить по ссылкам в описаниях CVE для получения дополнительной информации.

«Кроме того, если экстраполировать на то, на что способны GPT-5 и будущие модели, вполне вероятно, что они будут гораздо более функциональными, чем то, к чему скрипт-кидди могут получить доступ сегодня», — сказал он.

Отказ агенту LLM (GPT-4) в доступе к соответствующему описанию CVE снизил вероятность успеха с 87 процентов до всего лишь семи процентов. Однако Канг заявил, что не считает, что ограничение публичной доступности информации о безопасности является жизнеспособным способом защиты от агентов LLM.

«Лично я не думаю, что безопасность через неизвестность является разумной, и это, похоже, преобладает среди исследователей безопасности», — объяснил он. «Я надеюсь, что моя работа и другая работа будут способствовать принятию превентивных мер безопасности, таких как регулярное обновление пакетов при выходе обновлений безопасности».

Агенту LLM не удалось эксплуатировать только два из 15 образцов: Iris XSS (CVE-2024-25640) и Hertzbeat RCE (CVE-2023-51653). Первое, согласно статье, оказалось проблематичным, поскольку веб-приложение Iris имеет интерфейс, в котором агенту чрезвычайно сложно ориентироваться. Последний имеет подробное описание на китайском языке, что, по-видимому, смутило агента LLM, работающего под англоязычной подсказкой.

Одиннадцать из протестированных уязвимостей возникли после окончания обучения GPT-4, то есть модель не получила никаких данных о них во время обучения. Уровень успеха по этим CVE был немного ниже — 82 процента, или 9 из 11.

Что касается характера ошибок, все они перечислены в приведенном выше документе, и нам говорят: «Наши уязвимости охватывают уязвимости веб-сайтов, уязвимости контейнеров и уязвимые пакеты Python. По описанию CVE более половины относятся к категории «высокой» или «критической» серьезности».

Канг и его коллеги подсчитали стоимость проведения успешной атаки агента LLM и получили цифру в 8.80 долларов за эксплойт, что, по их словам, примерно в 2.8 раза меньше, чем стоимость найма человека-тестера на проникновение на 30 минут.

Код агента, по словам Канга, состоит всего из 91 строки кода и 1,056 токенов для приглашения. OpenAI, создатель GPT-4, попросил исследователей не публиковать свои подсказки, хотя они заявляют, что предоставят их по запросу.

OpenAI не сразу ответила на запрос о комментариях. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/