微軟推出了一套工具，據稱可以幫助讓人工智慧模型在 Azure 中使用起來更加安全。
自從雲端和程式碼產業開始向OpenAI 注入資金，並向其軟體帝國注入聊天機器人功能（競爭對手在關於生產力的宏大承諾中以同樣的熱情上演了一場戲劇）以來，微軟不得不承認生成式AI 伴隨著風險。
危險 眾所周知，有時卻被輕率地拋在一邊。十年前，伊隆馬斯克警告說，人工智慧可能只是 毀滅人類。然而，這種擔憂並沒有阻止他在以下領域提供人工智慧： 汽車，在他的 社群媒體擴音器，也許很快就會在 機器人.
產生幻覺並提供不正確或有害響應的大型語言模型的出現導致了重新回到繪圖板，但又回到了董事會以尋求進一步的資金。科技業不是生產安全、合乎道德的產品，而是試圖馴服野生模型，或至少讓它們遠離可以肆意橫行而不傷害任何人的客戶。
如果這不起作用，總有 保障 根據某些條款，來自供應商的法律索賠。
業界對人工智慧安全的承諾與政府的相應要求不謀而合。週四在美國，白宮管理和預算辦公室 (OMB) 發行 這是第一個解決人工智慧風險的政府政策。
該政策要求聯邦機構在1 月XNUMX 日之前「在以可能影響美國人權利或安全的方式使用人工智慧時實施具體保障措施」。這意味著風險評估、測試和監控，努力限制歧視和偏見，並促進涉及健康、教育、住房和就業的人工智慧應用的透明度。
因此，微軟透過負責任的人工智慧首席產品長莎拉·伯德（Sarah Bird）介紹了其最新的人工智慧安全措施，這個頭銜暗示著不負責任的人工智慧的存在——如果你能想像得到的話。
伯德表示，企業領導者正在努力平衡創新和風險管理，讓他們能夠使用生成式人工智慧而不被其困擾。
Bird 在一份報告中解釋道：“即時注入攻擊已成為一項重大挑戰，惡意行為者試圖操縱人工智慧系統做超出其預期目的的事情，例如產生有害內容或竊取機密數據。” 博客文章.
「除了減輕這些安全風險之外，組織還關注品質和可靠性。他們希望確保他們的人工智慧系統不會產生錯誤或添加應用程式資料來源中未經證實的訊息，這可能會削弱用戶的信任。”
由於人工智慧訂閱費中不包含安全性和準確性，微軟看到了機會 賣掉它們 作為附加元件。
使用 Azure AI Studio 幫助他們創建生成式 AI 應用程式的客戶可以期待四種新工具。
首先，有 快速護盾，它有望幫助防禦即時注入攻擊。以前稱為越獄風險檢測，現在已推出公共預覽版，它是一種減輕基礎模型中直接和間接即時幹預風險的方法。
直接攻擊涉及旨在使模型忽略其安全訓練的提示（輸入）。間接攻擊是指偷偷輸入模型的行為。實現此目的的一種方法可能是在電子郵件中包含隱藏文本，並且知道透過 Outlook 中的 Copilot 代表收件人行事的 AI 模型將解析訊息，將隱藏文本解釋為命令，並希望按照指示行事，例如默默地回復敏感資料。
第二是 接地檢測，一個用來捕捉人工智慧模型出現幻覺或編造事情的系統。當偵測到虛假聲明時，它為客戶提供多種選擇，包括將回應發回以在顯示之前進行修改。微軟表示，它已經透過建立自訂語言模型來實現這一目標，該模型可以根據來源文件評估未經證實的聲明。所以，你猜對了，人工智慧模型安全性的答案是另一個模型。
儘管這是邁向值得信賴的人工智慧的美好一步，但問題仍然沒有解決
第三，我們有 AI輔助安全評估 AI Studio 中提供了一個測試框架，用於呈現提示範本和參數以測試與客戶應用程式的各種對抗性互動的模型。再說一遍，是用人工智慧測試人工智慧。
最後，還有 “風險與安全監測”，Azure OpenAI 服務的一項功能，可提供有害內容指標。
Vinu Sankar Sadasivan，馬裡蘭大學博士生，幫助開發了 野獸攻擊 法學碩士，告訴 註冊 雖然看到 Azure 建置工具來使 AI 更加安全令人興奮，但添加更多模型會擴大潛在的攻擊面。
「Azure 的安全評估以及風險和安全監控工具對於調查人工智慧模型的可靠性非常重要，」他說。 「雖然這是邁向值得信賴的人工智慧的美好一步，但問題仍然沒有解決。例如，他們推出的提示盾可能使用另一種人工智慧模型來偵測和阻止間接提示攻擊。這種人工智慧模型可能容易受到對抗性攻擊等威脅。
「對手可以利用這些漏洞繞過 Prompt Shields。儘管安全系統訊息在某些情況下被證明是有效的，但現有的攻擊（例如 BEAST）可以敵對地攻擊 AI 模型，從而立即越獄它們。雖然對人工智慧系統實施防禦是有益的，但必須認識到它們的潛在缺點。” ®
