Alors que l'innovation dans le domaine de l'intelligence artificielle (IA) se poursuit à un rythme soutenu, 2024 sera une période cruciale pour les organisations et les organes directeurs pour établir des normes de sécurité, des protocoles et d'autres garde-fous pour empêcher l'IA de les devancer, préviennent les experts en sécurité.

Les grands modèles linguistiques (LLM), alimentés par des algorithmes sophistiqués et des ensembles de données massifs, démontrent une compréhension remarquable du langage et des capacités conversationnelles semblables à celles des humains. L’une des plates-formes les plus sophistiquées à ce jour est GPT-4 d’OpenAI, qui offre des capacités avancées de raisonnement et de résolution de problèmes et alimente le robot ChatGPT de l’entreprise. Et la société, en partenariat avec Microsoft, a commencé à travailler sur GPT-5, comme l'a déclaré le PDG Sam Altman. ira beaucoup plus loin – au point de posséder une « superintelligence ».

Ces modèles représentent un énorme potentiel de gains de productivité et d’efficacité significatifs pour les organisations, mais les experts s’accordent sur le fait que le moment est venu pour l’industrie dans son ensemble. pour faire face aux risques de sécurité inhérents posées par leur développement et leur déploiement. En effet, recherche récente de Writerbuddy AI, qui propose un outil de rédaction de contenu basé sur l'IA, a découvert que ChatGPT avait déjà enregistré 14 milliards de visites et ce n'est pas fini.

À mesure que les organisations progressent dans le domaine de l’IA, celles-ci « devraient être associées à des considérations éthiques et à des évaluations des risques rigoureuses », déclare Gal Ringel, PDG de MineOS, société de confidentialité et de sécurité basée sur l’IA.

L'IA est-elle une menace existentielle ?

Les inquiétudes concernant la sécurité de la prochaine génération d'IA ont commencé à s'infiltrer en mars, avec une lettre ouverte signée par près de 34,000 XNUMX technologues de haut niveau appelant à l'arrêt du développement de systèmes d'IA générative plus puissants que GPT-4 d'OpenAI. La lettre citait les « risques profonds » pour la société que représente la technologie et la « course incontrôlée des laboratoires d’IA pour développer et déployer des esprits numériques toujours plus puissants que personne – pas même leurs créateurs – ne peut comprendre, prédire ou contrôle fiable.

Malgré ces craintes dystopiques, la plupart des experts en sécurité ne s’inquiètent pas vraiment d’un scénario apocalyptique dans lequel les machines deviendraient plus intelligentes que les humains et conquériraient le monde.

« La lettre ouverte fait état de préoccupations légitimes concernant les progrès rapides et les applications potentielles de l’IA au sens large, « est-ce bon pour l’humanité » », déclare Matt Wilson, directeur de l’ingénierie commerciale de la société de cybersécurité Netrix. "Bien qu'impressionnantes dans certains scénarios, les versions publiques des outils d'IA ne semblent pas si menaçantes."

Ce qui est préoccupant, c’est le fait que les progrès et l’adoption de l’IA évoluent trop rapidement pour que les risques puissent être correctement gérés, notent les chercheurs. « Nous ne pouvons pas remettre le couvercle sur la boîte de Pandore », observe Patrick Harr, PDG du fournisseur de sécurité IA SlashNext.

De plus, « tenter simplement d’arrêter le rythme de l’innovation dans ce domaine ne contribuera pas à atténuer » les risques qu’elle présente, qui doivent être abordés séparément, observe Marcus Fowler, PDG de la société de sécurité IA DarkTrace Federal. Cela ne veut pas dire que le développement de l’IA doit continuer sans contrôle, dit-il. Au contraire, le rythme d’évaluation des risques et de mise en œuvre de garanties appropriées devrait correspondre au rythme de formation et de développement des LLM.

« La technologie de l’IA évolue rapidement, c’est pourquoi les gouvernements et les organisations qui utilisent l’IA doivent également accélérer les discussions sur la sécurité de l’IA », explique Fowler.

Risques liés à l'IA générative

Il existe plusieurs risques largement reconnus pour l’IA générative qui doivent être pris en compte et ne feront qu’empirer à mesure que les futures générations de technologies deviendront plus intelligentes. Heureusement pour les humains, aucun d’entre eux ne propose jusqu’à présent un scénario apocalyptique de science-fiction dans lequel l’IA conspire pour détruire ses créateurs.

Au lieu de cela, ils incluent des menaces beaucoup plus familières, telles que les fuites de données, potentiellement d'informations sensibles pour l'entreprise ; utilisation abusive à des fins malveillantes ; et des résultats inexacts qui peuvent induire les utilisateurs en erreur ou semer la confusion, entraînant finalement des conséquences commerciales négatives.

Étant donné que les LLM nécessitent l’accès à de grandes quantités de données pour fournir des résultats précis et contextuellement pertinents, des informations sensibles peuvent être révélées par inadvertance ou utilisées à mauvais escient.

«Le principal risque, ce sont les employés qui l'alimentent avec des informations sensibles pour l'entreprise lorsque vous lui demandez de rédiger un plan ou de reformuler des e-mails ou des présentations commerciales contenant des informations exclusives à l’entreprise », note Ringel.

Du point de vue des cyberattaques, les auteurs de menaces ont déjà trouvé une myriade de moyens de militariser ChatGPT et d’autres systèmes d’IA. Une solution consiste à utiliser ces modèles pour créer des attaques sophistiquées de compromission de la messagerie professionnelle (BEC) et d'autres attaques de phishing, qui nécessitent la création de messages personnalisés et socialement conçus pour réussir.

"Avec les logiciels malveillants, ChatGPT permet aux cybercriminels de créer des variations infinies de code pour garder une longueur d'avance sur les moteurs de détection de logiciels malveillants", explique Harr.

Les hallucinations de l’IA constituent également une menace importante pour la sécurité et permettent à des acteurs malveillants d’armer une technologie basée sur LLM comme ChatGPT d’une manière unique. Une hallucination de l'IA est une réponse plausible de l'IA qui est insuffisante, biaisée ou carrément fausse. « Des réponses fictives ou indésirables peuvent inciter les organisations à prendre des décisions, à adopter des processus et des communications trompeuses » prévient Avivah Litan, vice-présidente de Gartner.

Les acteurs de la menace peuvent également utiliser ces hallucinations pour empoisonner les LLM et « générer des informations erronées spécifiques en réponse à une question », observe Michael Rinehart, vice-président de l'IA chez le fournisseur de sécurité des données Securiti. "Ceci est extensible à la génération de code source vulnérable et, éventuellement, aux modèles de discussion capables de diriger les utilisateurs d'un site vers des actions dangereuses."

Les attaquants peuvent même aller jusqu'à publier des versions malveillantes de progiciels qu'un LLM pourrait recommander à un développeur de logiciels, estimant qu'il s'agit d'une solution légitime à un problème. De cette manière, les attaquants peuvent utiliser davantage l’IA pour lancer des attaques sur la chaîne d’approvisionnement.

La voie à suivre

La gestion de ces risques nécessitera une action mesurée et collective avant que l’innovation en matière d’IA ne dépasse la capacité de l’industrie à la contrôler, notent les experts. Mais ils ont aussi des idées sur la manière de résoudre le problème de l’IA.

Harr croit en un «combattre l'IA avec A", dans laquelle "les progrès des solutions de sécurité et des stratégies visant à contrecarrer les risques alimentés par l'IA doivent se développer à un rythme égal, voire supérieur".

« La protection contre la cybersécurité doit tirer parti de l’IA pour lutter avec succès contre les cybermenaces grâce à la technologie de l’IA », ajoute-t-il. « En comparaison, les technologies de sécurité existantes n’ont aucune chance contre ces attaques. »

Cependant, les organisations devraient également adopter une approche mesurée pour adopter l’IA, notamment Solutions de sécurité basées sur l'IA – de peur qu’ils n’introduisent plus de risques dans leur environnement, prévient Wilson de Netrix.

« Comprenez ce qu’est l’IA et ce qu’elle n’est pas », conseille-t-il. « Mettez au défi les fournisseurs qui prétendent utiliser l'IA de décrire ce qu'elle fait, comment elle améliore leur solution et pourquoi cela est important pour votre organisation. »

Rinehart de Securiti propose une approche à deux niveaux pour introduire progressivement l'IA dans un environnement en déployant des solutions ciblées, puis en mettant en place des garde-fous immédiatement avant d'exposer l'organisation à des risques inutiles.

« Adoptez d'abord des modèles spécifiques à une application, potentiellement complétés par des bases de connaissances, conçus pour apporter de la valeur dans des cas d'utilisation spécifiques », explique-t-il. « Ensuite… mettez en œuvre un système de surveillance pour protéger ces modèles en examinant les messages entrants et sortants pour détecter des problèmes de confidentialité et de sécurité. »

Les experts recommandent également de mettre en place des politiques et des procédures de sécurité autour de l’IA avant son déploiement plutôt qu’après coup pour atténuer les risques. Ils peuvent même mettre en place un responsable des risques ou un groupe de travail dédié à l’IA pour superviser la conformité.

En dehors de l’entreprise, l’industrie dans son ensemble doit également prendre des mesures pour établir des normes et des pratiques de sécurité autour de l’IA que tous ceux qui développent et utilisent la technologie peuvent adopter – ce qui nécessitera une action collective de la part des secteurs public et privé à l’échelle mondiale. , dit Fowler de DarkTrace Federal.

Il cite lignes directrices pour la création de systèmes d’IA sécurisés publié en collaboration par la Cybersecurity and Infrastructure Security Agency (CISA) des États-Unis et le National Cyber ​​Security Centre (NCSC) du Royaume-Uni comme exemple du type d’efforts qui devraient accompagner l’évolution continue de l’IA.

"Essentiellement", déclare Rinehart de Securiti, "l'année 2024 sera témoin d'une adaptation rapide de la sécurité traditionnelle et des techniques d'IA de pointe vers la protection des utilisateurs et des données dans cette ère émergente de l'IA générative."

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.darkreading.com/vulnerabilities-threats/skynet-ahoy-what-to-expect-next-gen-ai-security-risks