סוכני בינה מלאכותית, המשלבים מודלים של שפות גדולות עם תוכנת אוטומציה, יכולים לנצל בהצלחה פרצות אבטחה בעולם האמיתי על ידי קריאת עצות אבטחה, טענו אקדמאים.
בשנת ששוחררה לאחרונה מאמר, ארבעה מדעני מחשב של אוניברסיטת אילינוי אורבנה-שמפיין (UIUC) - ריצ'רד פאנג, רוהן בינדו, אקול גופטה ודניאל קאנג - מדווחים כי מודל השפה הגדולה GPT-4 של OpenAI (LLM) יכול לנצל באופן אוטונומי פגיעויות במערכות בעולם האמיתי אם ניתן ייעוץ CVE המתאר את הפגם.
"כדי להראות זאת, אספנו מערך נתונים של 15 נקודות תורפה של יום אחד שכוללות כאלה שסווגו כחומרה קריטית בתיאור ה-CVE", מסבירים המחברים בארה"ב במאמרם.
"כאשר ניתן תיאור ה-CVE, GPT-4 מסוגל לנצל 87 אחוז מהחולשות הללו לעומת 0 אחוז עבור כל דגם אחר שאנו בודקים (GPT-3.5, LLMs בקוד פתוח) וסורקי פגיעות בקוד פתוח (ZAP ו- Metasploit) ."
אם תחקור למה שדוגמניות עתידיות יכולות לעשות, נראה שהם יהיו מסוגלים הרבה יותר ממה שילדי התסריט יכולים לקבל גישה אליו היום
המונח "פגיעות של יום אחד" מתייחס לפרצות שנחשפו אך לא תוקנו. ולפי תיאור CVE, הצוות מתכוון לייעוץ מתויג CVE משותף על ידי NIST - למשל, זה עבור CVE-2024-28859.
הדגמים הלא מוצלחים שנבדקו - GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B ו-OpenChat 3.5 - לא כללו שני יריבים מסחריים מובילים של GPT-4, קלוד 3 של Anthropic ו-Gemini 1.5 Pro של גוגל. ל-UIUC bofins לא הייתה גישה לדגמים האלה, אם כי הם מקווים לבדוק אותם בשלב מסוים.
עבודת החוקרים מתבססת על ממצאים קודמים שניתן להשתמש ב-LLMs כדי להפוך התקפות על אתרי אינטרנט בסביבת חול.
GPT-4, אמר דניאל קאנג, עוזר פרופסור ב-UIUC, בדוא"ל אל הקופה, "יכול למעשה לבצע באופן אוטונומי את השלבים לביצוע ניצולים מסוימים שסורקי הפגיעות בקוד פתוח אינם יכולים למצוא (בזמן הכתיבה)."
קאנג אמר שהוא מצפה לסוכני LLM, שנוצרו על ידי (במקרה זה) חיווט של מודל צ'טבוט ל- לְהָגִיב מסגרת אוטומציה המיושמת ב-LangChain, תהפוך את הניצול להרבה יותר קל לכולם. סוכנים אלה יכולים, נאמר לנו, לעקוב אחר קישורים בתיאורי CVE לקבלת מידע נוסף.
"כמו כן, אם תבצע אקסטרפולציה למה ש-GPT-5 ודגמים עתידיים יכולים לעשות, סביר להניח שהם יהיו מסוגלים הרבה יותר ממה שילדי התסריט יכולים לקבל גישה אליו היום", אמר.
מניעת הגישה של סוכן ה-LLM (GPT-4) לתיאור ה-CVE הרלוונטי הפחיתה את שיעור ההצלחה שלו מ-87 אחוזים לשבעה אחוזים בלבד. עם זאת, קאנג אמר שהוא לא מאמין שהגבלת הזמינות הציבורית של מידע אבטחה היא דרך מעשית להתגונן מפני סוכני LLM.
"אני אישית לא חושב שאבטחה באמצעות ערפול היא בר-קיימא, וזו כנראה החוכמה הרווחת בקרב חוקרי אבטחה", הסביר. "אני מקווה שהעבודה שלי, ועבודה אחרת, יעודדו אמצעי אבטחה יזומים כמו עדכון חבילות באופן קבוע כשיצא תיקוני אבטחה."
סוכן LLM לא הצליח לנצל רק שתיים מתוך 15 הדגימות: Iris XSS (CVE-2024-25640) וה-Hertzbeat RCE (CVE-2023-51653). הראשון, על פי העיתון, התגלה כבעייתי מכיוון שלאפליקציה האינטרנטית של Iris יש ממשק שקשה מאוד לנווט לסוכן. והאחרון כולל תיאור מפורט בסינית, מה שכנראה בלבל את סוכן ה-LLM שפעל לפי הנחיה בשפה האנגלית.
4 מהפגיעויות שנבדקו התרחשו לאחר הפסקת האימון של GPT-82, כלומר המודל לא למד שום מידע עליהן במהלך האימון. שיעור ההצלחה שלו עבור CVEs אלה היה מעט נמוך יותר, 9 אחוזים, או 11 מתוך XNUMX.
באשר לאופי הבאגים, כולם רשומים במאמר שלעיל, ונאמר לנו: "החולשות שלנו משתרעות על פרצות אתרים, פגיעויות מיכל וחבילות פגיעות של Python. יותר ממחציתם מסווגים כחומרה 'גבוהה' או 'קריטית' לפי תיאור ה-CVE."
קאנג ועמיתיו חישבו את העלות לביצוע מתקפת סוכן LLM מוצלחת והגיעו לנתון של 8.80 דולר לכל ניצול, שלדבריהם הוא בערך פי 2.8 פחות ממה שהיה עולה לשכור בודק חדירה אנושי למשך 30 דקות.
קוד הסוכן, על פי קאנג, מורכב מ-91 שורות קוד בלבד ו-1,056 אסימונים עבור ההנחיה. החוקרים התבקשו על ידי OpenAI, יצרנית GPT-4, לא לפרסם את ההנחיות שלהם לציבור, למרות שהם אומרים שהם יספקו אותם לפי בקשה.
OpenAI לא הגיבה מיד לבקשת תגובה. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
