Agen AI, yang menggabungkan model bahasa besar dengan perangkat lunak otomatisasi, berhasil mengeksploitasi kerentanan keamanan dunia nyata dengan membaca nasihat keamanan, klaim para akademisi.

Di baru dirilis kertas, empat ilmuwan komputer Universitas Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta, dan Daniel Kang – melaporkan bahwa model bahasa besar (LLM) GPT-4 OpenAI dapat secara mandiri mengeksploitasi kerentanan dalam sistem dunia nyata jika diberikan nasihat CVE yang menjelaskan kelemahannya.

“Untuk menunjukkan hal ini, kami mengumpulkan kumpulan data dari 15 kerentanan satu hari yang mencakup kerentanan yang dikategorikan sebagai tingkat keparahan kritis dalam deskripsi CVE,” para penulis yang berbasis di AS menjelaskan dalam makalah mereka.

“Ketika diberikan deskripsi CVE, GPT-4 mampu mengeksploitasi 87 persen kerentanan ini dibandingkan dengan 0 persen untuk setiap model lain yang kami uji (GPT-3.5, LLM sumber terbuka) dan pemindai kerentanan sumber terbuka (ZAP dan Metasploit) .”

Jika Anda memperkirakan apa yang dapat dilakukan oleh model masa depan, sepertinya model tersebut akan jauh lebih mampu daripada apa yang dapat diakses oleh anak-anak skrip saat ini.

Istilah “kerentanan satu hari” mengacu pada kerentanan yang telah diungkapkan namun belum ditambal. Dan menurut deskripsi CVE, yang dimaksud dengan tim adalah saran bertanda CVE yang dibagikan oleh NIST – misalnya, yang ini untuk CVE-2024-28859.

Model yang gagal diuji – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B, dan OpenChat 3.5 – tidak menyertakan dua pesaing komersial terkemuka GPT-4, Claude 3 dari Anthropic dan Gemini 1.5 Pro dari Google. Para peneliti UIUC tidak memiliki akses terhadap model-model tersebut, meskipun mereka berharap dapat mengujinya suatu saat nanti.

Pekerjaan para peneliti dibangun berdasarkan hal tersebut temuan sebelumnya bahwa LLM dapat digunakan untuk mengotomatiskan serangan terhadap situs web di lingkungan sandbox.

GPT-4, kata Daniel Kang, asisten profesor di UIUC, melalui email ke Pendaftaran, “sebenarnya dapat secara mandiri melakukan langkah-langkah untuk melakukan eksploitasi tertentu yang tidak dapat ditemukan oleh pemindai kerentanan sumber terbuka (pada saat penulisan artikel ini).”

Kang mengatakan dia mengharapkan agen LLM, dibuat dengan (dalam hal ini) menghubungkan model chatbot ke Reaksi kerangka otomatisasi yang diterapkan di LangChain, akan membuat eksploitasi lebih mudah bagi semua orang. Kami diberitahu bahwa agen-agen ini dapat mengikuti tautan dalam deskripsi CVE untuk informasi lebih lanjut.

“Selain itu, jika Anda memperkirakan apa yang dapat dilakukan oleh GPT-5 dan model masa depan, sepertinya mereka akan jauh lebih mampu dibandingkan dengan apa yang dapat diakses oleh anak-anak skrip saat ini,” katanya.

Menolak akses agen LLM (GPT-4) ke deskripsi CVE yang relevan mengurangi tingkat keberhasilannya dari 87 persen menjadi hanya tujuh persen. Namun, Kang mengatakan dia tidak percaya membatasi ketersediaan informasi keamanan kepada publik adalah cara yang tepat untuk bertahan melawan agen LLM.

“Saya pribadi berpendapat bahwa keamanan melalui ketidakjelasan dapat dipertahankan, dan hal ini sepertinya merupakan kebijaksanaan umum di kalangan peneliti keamanan,” jelasnya. “Saya berharap pekerjaan saya, dan pekerjaan lainnya, akan mendorong langkah-langkah keamanan proaktif seperti memperbarui paket secara teratur ketika patch keamanan dirilis.”

Agen LLM gagal mengeksploitasi hanya dua dari 15 sampel: Iris XSS (CVE-2024-25640) dan Hertzbeat RCE (CVE-2023-51653). Yang pertama, menurut makalah tersebut, terbukti bermasalah karena aplikasi web Iris memiliki antarmuka yang sangat sulit dinavigasi oleh agen. Dan yang terakhir menampilkan penjelasan rinci dalam bahasa Cina, yang mungkin membingungkan agen LLM yang beroperasi dengan perintah bahasa Inggris.

Sebelas dari kerentanan yang diuji terjadi setelah penghentian pelatihan GPT-4, yang berarti model belum mempelajari data apa pun tentang kerentanan tersebut selama pelatihan. Tingkat keberhasilan CVE ini sedikit lebih rendah yaitu 82 persen, atau 9 dari 11.

Mengenai sifat bugnya, semuanya tercantum dalam makalah di atas, dan kami diberi tahu: “Kerentanan kami mencakup kerentanan situs web, kerentanan container, dan paket Python yang rentan. Lebih dari setengahnya dikategorikan sebagai tingkat keparahan 'tinggi' atau 'kritis' berdasarkan deskripsi CVE.”

Kang dan rekan-rekannya menghitung biaya untuk melakukan serangan agen LLM yang berhasil dan menghasilkan angka $8.80 per eksploitasi, yang menurut mereka sekitar 2.8x lebih murah dibandingkan biaya menyewa penguji penetrasi manusia selama 30 menit.

Kode agen, menurut Kang, hanya terdiri dari 91 baris kode dan 1,056 token untuk prompt. Para peneliti diminta oleh OpenAI, pembuat GPT-4, untuk tidak merilis perintah mereka ke publik, meskipun mereka mengatakan akan memberikannya jika diminta.

OpenAI tidak segera menanggapi permintaan komentar. ®

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/