Две критические уязвимости безопасности в платформе Hugging Face AI открыли двери для злоумышленников, стремящихся получить доступ к данным и моделям клиентов и изменить их.
Одна из уязвимостей безопасности дала злоумышленникам доступ к моделям машинного обучения (ML), принадлежащим другим клиентам на платформе Hugging Face, а вторая позволила им перезаписать все изображения в общем реестре контейнеров. Оба недостатка, обнаруженные исследователями из Wiz, были связаны с возможностью злоумышленников захватить часть инфраструктуры вывода Hugging Face.
Исследователи Wiz обнаружили слабые места в трех конкретных компонентах: API-интерфейс Hugging Face Inference, который позволяет пользователям просматривать и взаимодействовать с доступными моделями на платформе; Hugging Face Inference Endpoints — или выделенная инфраструктура для развертывания моделей искусственного интеллекта в производстве; и Hugging Face Spaces, хостинг-сервис для демонстрации приложений AI/ML или для совместной работы над разработкой моделей.
Проблема с рассолом
Изучая инфраструктуру Hugging Face и способы использования обнаруженных ими ошибок в качестве оружия, исследователи Wiz обнаружили, что любой может легко загрузить на платформу модели AI/ML, в том числе модели, основанные на формате Pickle. Соленый огурец — широко используемый модуль для хранения объектов Python в файле. Хотя даже сам фонд программного обеспечения Python считает Pickle небезопасным, он остается популярным из-за простоты использования и знакомства с ним людей.
«Относительно просто создать модель PyTorch (Pickle), которая будет выполнять произвольный код при загрузке», — говорит Wiz.
Исследователи Wiz воспользовались возможностью загрузить в Hugging Face частную модель на основе Pickle, которая при загрузке запускала обратную оболочку. Затем они взаимодействовали с ним с помощью API-интерфейса Inference для достижения функциональности, подобной оболочке, которую исследователи использовали для изучения своей среды в инфраструктуре Hugging Face.
Это упражнение быстро показало исследователям, что их модель работает в модуле в кластере Amazon Elastic Kubernetes Service (EKS). После этого исследователи смогли использовать распространенные неправильные настройки для извлечения информации, которая позволила им получить привилегии, необходимые для просмотра секретов, которые могли бы позволить им получить доступ к другим арендаторам в общей инфраструктуре.
С помощью Hugging Face Spaces компания Wiz обнаружила, что злоумышленник может выполнить произвольный код во время сборки приложения, который позволит ему проверять сетевые подключения со своего компьютера. Их проверка показала одно подключение к общему реестру контейнеров, содержащему изображения, принадлежащие другим клиентам, которые они могли подделать.
«В чужих руках возможность записи во внутренний реестр контейнеров может иметь серьезные последствия для целостности платформы и привести к атакам в цепочке поставок на пространства клиентов», — сказал Виз.
Обнимающее Лицо сказало это полностью смягчило риски, обнаруженные Wiz. Тем временем компания определила, что проблемы, по крайней мере частично, связаны с ее решением продолжить использование файлов Pickle на платформе Hugging Face, несмотря на вышеупомянутые хорошо задокументированные риски безопасности, связанные с такими файлами.
«Файлы Pickle легли в основу большинства исследований Wiz и других недавних публикаций исследователей безопасности об Hugging Face», — отметили в компании. Разрешение использования Pickle на Hugging Face — это «бремя для наших инженеров и специалистов по безопасности, и мы приложили значительные усилия для снижения рисков, одновременно позволяя сообществу ИИ использовать инструменты по своему выбору».
Возникающие риски при использовании ИИ как услуги
Wiz описал свое открытие как показатель рисков, о которых организациям необходимо знать при использовании общей инфраструктуры для размещения, запуска и разработки новых моделей и приложений ИИ, которая становится известной как «ИИ как услуга». Компания сравнила риски и связанные с ними меры по снижению рисков с теми, с которыми организации сталкиваются в средах общедоступных облаков, и рекомендовала им применять те же меры по снижению рисков и в средах искусственного интеллекта.
«Организации должны обеспечить прозрачность и управление всем используемым стеком искусственного интеллекта, а также тщательно анализировать все риски», — заявил Уиз в своем блоге на этой неделе. Это включает в себя анализ «использования вредоносные модели, раскрытие данных обучения, конфиденциальные данные в обучении, уязвимости в AI SDK, раскрытие услуг AI и другие токсичные комбинации рисков, которые могут быть использованы злоумышленниками», — заявил поставщик средств безопасности.
Эрик Швейк, директор по стратегии кибербезопасности Salt Security, говорит, что есть две основные проблемы, связанные с использованием ИИ как услуги, о которых организациям необходимо знать. «Во-первых, злоумышленники могут загружать вредоносные модели искусственного интеллекта или использовать уязвимости в стеке вывода для кражи данных или манипулирования результатами», — говорит он. «Во-вторых, злоумышленники могут попытаться скомпрометировать данные обучения, что приведет к предвзятым или неточным выводам ИИ, что широко известно как отравление данных».
По его словам, выявление этих проблем может оказаться сложной задачей, особенно с учетом того, насколько сложными становятся модели ИИ. Чтобы справиться с некоторыми из этих рисков, организациям важно понимать, как их приложения и модели искусственного интеллекта взаимодействуют с API, и найти способы защитить это. «Организации могут также захотеть изучить Объяснимый ИИ (XAI) чтобы помочь сделать модели ИИ более понятными, — говорит Швейк, — и это может помочь выявить и смягчить предвзятость или риск в моделях ИИ».
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/cloud-security/critical-bugs-hugging-face-ai-platform-pickle
