Microsoft представила набор инструментов, которые якобы помогут сделать модели искусственного интеллекта более безопасными для использования в Azure.

С тех пор, как бизнес облачных технологий и кода начал вкладывать средства в OpenAI и наполнять свою империю программного обеспечения возможностями чат-ботов (драма, разыгранная с таким же рвением конкурентами на фоне грандиозных обещаний о производительности), Microsoft пришлось признать, что генеративный ИИ сопряжен с риском.

Ассоциация Опасности широко известны, но иногда беззаботно отмахиваются. Десять лет назад Илон Маск предупредил, что ИИ может просто уничтожить человечество. Однако эта обеспокоенность не помешала ему сделать ИИ доступным в легковые автомобили, на его Мегафон в социальных сетяхи, возможно, вскоре в Роботы.

Появление больших языковых моделей, вызывающих галлюцинации и предлагающих неверные или вредные ответы, привело к возвращению к чертежной доске, но в зал заседаний для дальнейшего финансирования. Вместо того, чтобы производить безопасный и этичный продукт, технологическая индустрия пытается приручить дикие модели или, по крайней мере, держать их достаточно далеко от клиентов, которые могут выйти из-под контроля, не причиняя никому вреда.

А если это не сработает, всегда есть возмещение убытков от юридических претензий, при соблюдении определенных условий, со стороны поставщиков.

Обязательства отрасли по обеспечению безопасности ИИ совпадают с соответствующими требованиями правительства. В США в четверг Управление управления и бюджета Белого дома (OMB) выпущенный это первая общегосударственная политика по устранению рисков, связанных с ИИ.

Политика требует, чтобы федеральные агентства «внедрили конкретные меры защиты при использовании ИИ таким образом, который может повлиять на права или безопасность американцев» к 1 декабря. Это означает оценку рисков, тестирование и мониторинг, усилия по ограничению дискриминации и предвзятости, а также по поощрению прозрачность приложений ИИ, касающихся здравоохранения, образования, жилья и занятости.

Таким образом, Microsoft сообщает о своих последних мерах по обеспечению безопасности ИИ через Сару Берд, директора по продукту ответственного ИИ, и эта должность подразумевает существование безответственного ИИ – если вы можете себе это представить.

Бёрд говорит, что бизнес-лидеры пытаются сбалансировать инновации и управление рисками, чтобы позволить им использовать генеративный искусственный интеллект, не подвергаясь им опасности.

«Атаки с быстрым внедрением стали серьезной проблемой, когда злоумышленники пытаются манипулировать системой искусственного интеллекта, чтобы она делала что-то, выходящее за рамки ее предполагаемой цели, например, создавая вредоносный контент или кража конфиденциальных данных», — объясняет Бёрд в своей статье. блоге.

«Помимо снижения этих рисков безопасности, организации также обеспокоены качеством и надежностью. Они хотят быть уверенными, что их системы искусственного интеллекта не генерируют ошибок и не добавляют информацию, не подтвержденную источниками данных приложения, что может подорвать доверие пользователей».

Поскольку безопасность и точность не включены в стоимость подписки на ИИ, Microsoft видит в этом возможность. продать их в качестве дополнения.

Клиенты, использующие Azure AI Studio для создания генеративных приложений ИИ, могут рассчитывать на четыре новых инструмента.

Во-первых, есть Проворные щиты, которые обещают помочь защититься от атак с быстрым внедрением. Ранее известный как «Обнаружение риска взлома», а теперь доступный для публичной предварительной версии, это способ снизить риск как прямого, так и косвенного оперативного вмешательства в базовые модели.

Прямые атаки включают подсказки (входные данные), предназначенные для того, чтобы модель игнорировала обучение технике безопасности. Косвенные атаки — это попытки проникнуть в модель. Одним из способов сделать это может быть включение в электронное письмо скрытого текста, зная, что модель искусственного интеллекта, действующая от имени получателя, скажем, через Copilot в Outlook, проанализирует сообщение, интерпретирует скрытый текст как команду и, возможно, действуйте согласно инструкциям, делая что-то вроде молчаливого ответа с конфиденциальными данными.

Во-вторых, Обнаружение заземления, система, позволяющая отслеживать, когда модели ИИ галлюцинируют или что-то выдумывают. Он предоставляет клиентам несколько вариантов при обнаружении ложного заявления, включая отправку ответа обратно для проверки перед отображением. Microsoft заявляет, что добилась этого, создав собственную языковую модель, которая оценивает необоснованные утверждения на основе исходных документов. Итак, ответом на вопрос безопасности модели ИИ, как вы уже догадались, является другая модель.

Хотя это замечательный шаг на пути к надежному ИИ, проблема все еще не решена.

В-третьих, у нас есть Оценка безопасности с помощью искусственного интеллекта в AI Studio, которые предоставляют среду тестирования для представления шаблонов подсказок и параметров для моделирования, которое тестирует различные состязательные взаимодействия с приложением клиента. Опять же, ИИ должен тестировать ИИ.

И, наконец, есть «Мониторинг рисков и безопасности»— функция службы Azure OpenAI, предоставляющая метрики вредоносного контента.

Вину Санкар Садасиван, докторант Университета Мэриленда, который помог разработать ЗВЕРЬ атака по программе LLM рассказал Регистр что, хотя приятно видеть инструменты Azure для создания более безопасного ИИ, добавление большего количества моделей расширяет потенциальную поверхность атаки.

«Инструменты оценки безопасности и мониторинга рисков и безопасности Azure важны для исследования надежности моделей ИИ», — сказал он. «Хотя это замечательный шаг на пути к надежному ИИ, проблема все еще не решена. Например, представленные ими быстрые щиты, предположительно, используют другую модель искусственного интеллекта для обнаружения и блокирования непрямых оперативных атак. Эта модель ИИ может быть уязвима для таких угроз, как состязательные атаки.

«Злоумышленники могут использовать эти уязвимости для обхода Prompt Shields. Хотя сообщения системы безопасности в некоторых случаях оказались эффективными, существующие атаки, такие как BEAST, могут состязательно атаковать модели ИИ, чтобы в кратчайшие сроки взломать их. Хотя внедрение защиты для систем искусственного интеллекта выгодно, важно помнить об их потенциальных недостатках». ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/