Les agents d'IA, qui combinent de grands modèles de langage avec des logiciels d'automatisation, peuvent exploiter avec succès les vulnérabilités de sécurité du monde réel en lisant les avis de sécurité, ont affirmé des universitaires.
Dans un tout nouveau papier, quatre informaticiens de l'Université de l'Illinois Urbana-Champaign (UIUC) – Richard Fang, Rohan Bindu, Akul Gupta et Daniel Kang – rapportent que le grand modèle de langage (LLM) GPT-4 d'OpenAI peut exploiter de manière autonome les vulnérabilités des systèmes du monde réel s'il est fourni. un avis CVE décrivant la faille.
« Pour le démontrer, nous avons collecté un ensemble de données de 15 vulnérabilités d'une journée, dont celles classées comme étant de gravité critique dans la description CVE », expliquent les auteurs américains dans leur article.
« Lorsqu'on lui donne la description du CVE, GPT-4 est capable d'exploiter 87 % de ces vulnérabilités, contre 0 % pour tous les autres modèles que nous testons (GPT-3.5, LLM open source) et les scanners de vulnérabilités open source (ZAP et Metasploit). .»
Si vous extrapolez à ce que les futurs modèles peuvent faire, il semble probable qu'ils seront beaucoup plus performants que ce à quoi les script kiddies peuvent avoir accès aujourd'hui.
Le terme « vulnérabilité d’un jour » fait référence aux vulnérabilités qui ont été divulguées mais non corrigées. Et par description CVE, l'équipe entend un avis étiqueté CVE partagé par le NIST - par exemple, ici pour CVE-2024-28859.
Les modèles testés infructueux – GPT-3.5, OpenHermes-2.5-Mistral-7B, Llama-2 Chat (70B), LLaMA-2 Chat (13B), LLaMA-2 Chat (7B), Mixtral-8x7B Instruct, Mistral (7B) Instruct v0.2, Nous Hermes-2 Yi 34B et OpenChat 3.5 – n'incluait pas deux principaux rivaux commerciaux de GPT-4, Claude 3 d'Anthropic et Gemini 1.5 Pro de Google. Les experts de l'UIUC n'ont pas eu accès à ces modèles, bien qu'ils espèrent les tester à un moment donné.
Les travaux des chercheurs s'appuient sur constatations antérieures que les LLM peuvent être utilisés pour automatiser les attaques sur des sites Web dans un environnement sandbox.
GPT-4, a déclaré Daniel Kang, professeur adjoint à l'UIUC, dans un e-mail adressé à Le registre, « peut en fait exécuter de manière autonome les étapes nécessaires à la réalisation de certains exploits que les scanners de vulnérabilités open source ne peuvent pas trouver (au moment de la rédaction) ».
Kang a déclaré qu'il s'attend à ce que les agents LLM, créés en câblant (dans ce cas) un modèle de chatbot au Réagir Le cadre d'automatisation mis en œuvre dans LangChain rendra l'exploitation beaucoup plus facile pour tout le monde. Ces agents peuvent, nous dit-on, suivre les liens dans les descriptions CVE pour plus d'informations.
"De plus, si vous extrapolez à ce que GPT-5 et les futurs modèles peuvent faire, il semble probable qu'ils seront beaucoup plus performants que ce à quoi les script kiddies peuvent avoir accès aujourd'hui", a-t-il déclaré.
Refuser à l'agent LLM (GPT-4) l'accès à la description CVE pertinente a réduit son taux de réussite de 87 % à seulement sept %. Cependant, Kang a déclaré qu'il ne pensait pas que limiter la disponibilité publique des informations de sécurité soit un moyen viable de se défendre contre les agents du LLM.
« Personnellement, je ne pense pas que la sécurité par l'obscurité soit tenable, ce qui semble être la sagesse dominante parmi les chercheurs en sécurité », a-t-il expliqué. "J'espère que mon travail, ainsi que d'autres travaux, encouragera des mesures de sécurité proactives telles que la mise à jour régulière des packages lorsque des correctifs de sécurité sont publiés."
L'agent LLM n'a pas réussi à exploiter seulement deux des 15 échantillons : Iris XSS (CVE-2024-25640) et Hertzbeat RCE (CVE-2023-51653). Selon le journal, la première solution s'est avérée problématique car l'application Web Iris possède une interface extrêmement difficile à naviguer pour l'agent. Et ce dernier comporte une description détaillée en chinois, ce qui a probablement dérouté l'agent LLM opérant sous une invite en anglais.
Onze des vulnérabilités testées se sont produites après la fin de la formation de GPT-4, ce qui signifie que le modèle n'a appris aucune donnée à leur sujet pendant la formation. Son taux de réussite pour ces CVE était légèrement inférieur à 82 %, soit 9 sur 11.
Quant à la nature des bugs, ils sont tous répertoriés dans le document ci-dessus, et on nous dit : « Nos vulnérabilités couvrent les vulnérabilités des sites Web, les vulnérabilités des conteneurs et les packages Python vulnérables. Plus de la moitié sont classées comme étant de gravité « élevée » ou « critique » par la description CVE.
Kang et ses collègues ont calculé le coût d'une attaque réussie par un agent LLM et ont abouti à un chiffre de 8.80 $ par exploit, ce qui, selon eux, est environ 2.8 fois inférieur à ce qu'il en coûterait pour embaucher un testeur d'intrusion humain pendant 30 minutes.
Le code de l'agent, selon Kang, se compose de seulement 91 lignes de code et de 1,056 4 jetons pour l'invite. OpenAI, le fabricant de GPT-XNUMX, a demandé aux chercheurs de ne pas divulguer leurs invites au public, bien qu'ils affirment qu'ils les fourniront sur demande.
OpenAI n'a pas immédiatement répondu à une demande de commentaire. ®
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
