大規模な言語モデルと自動化ソフトウェアを組み合わせた AI エージェントは、セキュリティ勧告を読むことで現実世界のセキュリティの脆弱性をうまく悪用できると学者らは主張しています。

新しく発売されたものでは 紙、イリノイ大学アーバナ・シャンペーン校（UIUC）の4人のコンピュータ科学者（リチャード・ファング、ローハン・ビンドゥ、アクル・グプタ、ダニエル・カン）は、OpenAIのGPT-XNUMX大規模言語モデル（LLM）は、与えられた場合、現実世界のシステムの脆弱性を自律的に悪用できると報告しています。欠陥を説明する CVE アドバイザリ。

「これを示すために、CVE の説明で重大度がクリティカルに分類されている脆弱性を含む 15 件の XNUMX 日限りの脆弱性のデータセットを収集しました」と米国に拠点を置く著者らは論文で説明しています。

「CVE の説明を考慮すると、GPT-4 はこれらの脆弱性の 87 パーセントを悪用できるのに対し、当社がテストした他のすべてのモデル (GPT-0、オープンソース LLM) およびオープンソース脆弱性スキャナー (ZAP および Metasploit) は 3.5 パーセントを悪用できます。 」

将来のモデルができることを推定すると、子供たちが今日アクセスできるスクリプトよりもはるかに高性能になる可能性が高くなります。

「ワンデイ脆弱性」という用語は、公開されたもののパッチが適用されていない脆弱性を指します。そして、CVE の説明とは、チームが NIST によって共有される CVE タグ付きの勧告を意味します。たとえば、 この1 CVE-2024-28859の場合。

テストに失敗したモデル – GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous hermes-2 Yi 34B、および OpenChat 3.5 – GPT-4 の 3 つの有力な商業的ライバル、Anthropic の Claude 1.5 と Google の Gemini XNUMX Pro は含まれていませんでした。 UIUC の担当者はこれらのモデルにアクセスできませんでしたが、いつかテストしたいと考えています。

研究者の研究は以下に基づいて構築されています 以前の調査結果 LLM を使用すると、サンドボックス環境で Web サイトへの攻撃を自動化できるということです。

GPT-4について、UIUCのダニエル・カン助教授は電子メールでこう述べた。 登録「実際には、オープンソースの脆弱性スキャナーが（執筆時点で）検出できない特定のエクスプロイトを実行するためのステップを自律的に実行できます。」

Kang 氏は、(この例では) チャットボット モデルを 反応します LangChain に実装された自動化フレームワークにより、誰でも簡単に悪用できるようになります。これらのエージェントは、CVE の説明にあるリンクをたどって詳細を確認できると言われています。

「また、GPT-5 と将来のモデルで何ができるかを推測すると、今日子供たちがアクセスできるスクリプトよりもはるかに高性能になる可能性が高いと思われます」と彼は言いました。

関連する CVE 記述への LLM エージェント (GPT-4) アクセスを拒否すると、その成功率は 87 パーセントからわずか XNUMX パーセントに低下しました。しかし、カン氏は、セキュリティ情報の公開を制限することが、LLMエージェントから身を守るための実行可能な方法であるとは信じていないと述べた。

「私個人としては、隠蔽によるセキュリティが維持可能であるとは考えていません。これがセキュリティ研究者の間で広く普及している通念のようです」と彼は説明した。 「私の仕事や他の仕事が、セキュリティ パッチが公開されたときにパッケージを定期的に更新するなど、積極的なセキュリティ対策を促進することを願っています。」

LLM エージェントは、15 サンプルのうち Iris XSS (CVE-2024-25640) と Hertzbeat RCE (CVE-2023-51653) の XNUMX つだけを悪用できませんでした。同論文によると、前者は、Iris Web アプリのインターフェースがエージェントにとって非常に困難であるため、問題があることが判明したという。後者には中国語で詳細な説明が記載されており、おそらく英語のプロンプトの下で動作する LLM エージェントを混乱させたものと思われます。

テストされた脆弱性のうち 4 件は GPT-82 のトレーニング終了後に発生しました。これは、モデルがトレーニング中に脆弱性に関するデータを学習していないことを意味します。これらの CVE の成功率は 9% (11 件中 XNUMX 件) と若干低くなりました。

バグの性質に関しては、それらはすべて上記の文書にリストされており、次のように言われています。半数以上は、CVE の説明によって重大度が「高」または「重大」に分類されています。」

Kang 氏と彼の同僚は、LLM エージェントによる攻撃を成功させるためのコストを計算し、エクスプロイト 8.80 件あたり 2.8 ドルという数字を導き出しました。これは、人間によるペネトレーション テスターを 30 分間雇う場合にかかる費用の約 XNUMX 倍であると彼らは述べています。

Kang 氏によると、エージェント コードはわずか 91 行のコードとプロンプト用の 1,056 個のトークンで構成されています。研究者らは、GPT-4の開発元であるOpenAIから、プロンプトを一般に公開しないよう求められたが、要求に応じてプロンプトを提供するとしている。

OpenAIはコメント要請にすぐには応じていない。 ®

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/