Les chercheurs ont découvert plus de 100 modèles d'apprentissage automatique (ML) malveillants sur la plateforme Hugging Face AI qui peuvent permettre aux attaquants d'injecter du code malveillant sur les machines des utilisateurs.

Bien que Hugging Face mette en œuvre des mesures de sécurité, les résultats soulignent le risque croissant de « militariser » les modèles accessibles au public, car ils peuvent créer une porte dérobée pour les attaquants.

Les résultats de JFrog Security Research font partie d'une étude en cours visant à analyser comment les pirates peuvent utiliser le ML pour attaquer les utilisateurs.

Contenu nuisible

D'après un article de Ordinateurs portables, les chercheurs ont développé un système d'analyse avancé pour examiner les modèles hébergés sur la plateforme Hugging Face AI, tels que PyTorch et Tensorflow Keras.

Hugging Face est une plate-forme développée pour partager des modèles, des ensembles de données et des applications d'IA. En analysant les modèles, les chercheurs ont découvert des charges utiles nuisibles « au sein de modèles apparemment inoffensifs ».

Ceci malgré le fait que Hugging Face applique des mesures de sécurité telles que l’analyse des logiciels malveillants et des cornichons. Cependant, la plateforme ne restreint pas le téléchargement de modèles potentiellement dangereux et permet également d'accéder au public Modèles AI être abusé et utilisé comme arme par les utilisateurs.

En examinant la plateforme et les modèles existants, les chercheurs en sécurité de JFrog ont découvert environ 100 modèles d'IA dotés de fonctionnalités malveillantes, selon leur étude. rapport.

Certains de ces modèles, indique le rapport, sont capables d'exécuter du code sur les machines des utilisateurs, « créant ainsi une porte dérobée persistante pour les attaquants ».

Les chercheurs ont également indiqué que ces résultats excluent les faux positifs. Selon eux, ceux-ci constituent une représentation précise de la prévalence des modèles malveillants sur la plateforme.

A lire également: Apple réoriente l'équipe automobile vers le ralentissement du marché de l'IA après la crise des véhicules électriques

Les exemples

Selon le rapport de JFrog, l'un des cas « alarmants » concerne un PyTorch modèle. Le modèle aurait été téléchargé par un utilisateur identifié comme « baller423 », qui a ensuite été supprimé de la plateforme Hugging Face.

En examinant plus en profondeur le modèle, les chercheurs ont remarqué qu'il contenait une charge utile malveillante, lui permettant d'établir un shell inversé sur un hôte spécifié (210.117.212.93).

David Cohen, chercheur principal en sécurité chez JFrog, a déclaré : « (Cela) est nettement plus intrusif et potentiellement malveillant, car il établit une connexion directe à un serveur externe, indiquant une menace potentielle pour la sécurité plutôt qu’une simple démonstration de vulnérabilité », a-t-il écrit.

Cela exploite «la méthode '_reduce_' du module pickle de Python pour exécuter du code arbitraire lors du chargement du fichier modèle, contournant ainsi efficacement les méthodes de détection conventionnelles.»

Les chercheurs ont également reconnu que la même charge utile créait des connexions vers différentes adresses IP, « ce qui suggère que les opérateurs pourraient être des chercheurs plutôt que des pirates informatiques malveillants ».

Un appel au réveil

L'équipe de JFrog a noté que les résultats constituent un signal d'alarme pour Hugging Face, montrant que sa plate-forme est sujette à la manipulation et aux menaces potentielles.

« Ces incidents servent de rappels poignants des menaces persistantes auxquelles sont confrontés les référentiels Hugging Face et d'autres référentiels populaires tels que Kaggle, qui pourraient potentiellement compromettre la confidentialité et la sécurité des organisations utilisant ces ressources, en plus de poser des défis aux ingénieurs IA/ML », a déclaré les chercheurs.

Cela vient comme les menaces de cybersécurité dans le monde entier sont en augmentation, alimentés par la prolifération des outils d’IA, et que de mauvais acteurs en abusent à des fins malveillantes. Les pirates utilisent également l’IA pour lancer des attaques de phishing et tromper les gens.

Cependant, l’équipe de JFrog a fait d’autres découvertes.

Un terrain de jeu pour les chercheurs

Les chercheurs ont également noté que Étreindre le visage est devenu un terrain de jeu pour les chercheurs « qui souhaitent lutter contre les menaces émergentes, comme le démontre la diversité des tactiques utilisées pour contourner les mesures de sécurité ».

Par exemple, la charge utile téléchargée par « baller423 » a initié une connexion shell inversée à une plage d’adresses IP appartenant à Kreonet (Korea Research Environment Open Network).

Selon Lecture sombre, Kreonet est un réseau à haut débit en Corée du Sud soutenant des activités de recherche et d'éducation avancées ; "Par conséquent, il est possible que des chercheurs ou des praticiens de l'IA soient à l'origine du modèle."

« Nous pouvons constater que la plupart des charges utiles « malveillantes » sont en fait des tentatives de chercheurs et/ou de bug bounty visant à obtenir l'exécution de code à des fins apparemment légitimes », a déclaré Cohen.

Malgré les objectifs légitimes, l’équipe de JFrog a toutefois averti que les stratégies employées par les chercheurs démontrent clairement que des plateformes comme Hugging Face sont ouvertes aux attaques de la chaîne d’approvisionnement. Selon l'équipe, ceux-ci peuvent être personnalisés pour se concentrer sur des données démographiques spécifiques, comme les ingénieurs en IA ou en ML.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://metanews.com/over-100-malicious-code-execution-models-on-hugging-face-backdoors-users-devices/