人工知能（AI）のイノベーションが急速に進む中、2024 年は組織や統治機関にとって、AI の先を行くことを防ぐセキュリティ標準、プロトコル、その他のガードレールを確立する重要な時期になるとセキュリティ専門家は警告しています。
大規模言語モデル (LLM) は、洗練されたアルゴリズムと大規模なデータセットを利用して、驚くべき言語理解と人間のような会話能力を実証します。これらのプラットフォームの中でこれまでで最も洗練されたものの 4 つは OpenAI の GPT-5 で、高度な推論機能と問題解決機能を誇り、同社の ChatGPT ボットを強化します。そして同社はMicrosoftと提携してGPT-XNUMXの開発に着手したとCEOのサム・アルトマン氏は語った。 もっと遠くまで行くだろう —「超知性」を持つまでに。
これらのモデルは、組織にとって生産性と効率性を大幅に向上させる大きな可能性を示していますが、専門家は業界全体にとってその時期が来たことに同意しています。 本質的なセキュリティリスクに対処するため 開発と展開によって引き起こされます。確かに、 Writerbuddy AI による最近の研究AI ベースのコンテンツ作成ツールを提供する 社は、ChatGPT の訪問数がすでに 14 億件に上り、さらに増え続けていることを発見しました。
組織が AI の進歩に向けて前進する際には、「厳格な倫理的考慮とリスク評価を組み合わせる必要があります」と、AI ベースのプライバシーおよびセキュリティ企業 MineOS の CEO、ガル リンゲル氏は述べています。
AI は実存的脅威ですか?
次世代 AI のセキュリティに関する懸念は 34,000 月に浸透し始め、XNUMX 万 XNUMX 人近くのトップ技術者が署名した公開書簡では、AI よりも強力な生成型 AI システムの開発の中止を求めました。 OpenAIのGPT-4。書簡では、このテクノロジーが表す社会への「重大なリスク」と、「誰も（その作成者ですら）理解できない、予測できない、より強力なデジタルマインドを開発し導入するためのAI研究所による制御不能な競争」を挙げている。確実にコントロールします。」
こうしたディストピア的な懸念にもかかわらず、ほとんどのセキュリティ専門家は、機械が人間よりも賢くなり、世界を征服するという終末のシナリオについてはそれほど心配していません。
「公開書簡では、AI の急速な進歩と潜在的な応用について、『これは人類にとって良いことなのか』という広い意味での正当な懸念が指摘されていました」とサイバーセキュリティ会社 Netrix のセールス エンジニアリング ディレクター、マット ウィルソンは述べています。 「特定のシナリオでは印象的ですが、公開バージョンの AI ツールはそれほど脅威ではないようです。」
懸念されるのは、AIの進歩と導入のスピードが速すぎて、リスクを適切に管理できないという事実であると研究者らは指摘している。 AI セキュリティ プロバイダーである SlashNext の CEO、パトリック ハー氏は、「パンドラの箱の蓋を戻すことはできません」と述べています。
さらに、単に「この分野のイノベーションの速度を止めようとするだけでは、それがもたらすリスクを軽減することはできない」と、AIセキュリティ企業ダークトレース・フェデラルの最高経営責任者（CEO）マーカス・ファウラー氏は述べている。それは、AI開発を野放しに続けるべきだという意味ではない、と彼は言う。それどころか、リスク評価と適切な保護措置の導入の速度は、LLM の訓練と開発の速度と一致する必要があります。
「AI テクノロジーは急速に進化しているため、政府や AI を使用する組織も AI の安全性に関する議論を加速する必要があります」とファウラー氏は説明します。
生成的な AI リスク
生成 AI には、考慮が必要なリスクがいくつか広く認識されており、将来の世代のテクノロジーがより賢くなるにつれて、さらに悪化するでしょう。人間にとって幸いなことに、これまでのところ、AI が創造者を破壊しようと共謀するという SF のような終末シナリオを提起するものはありません。
その代わりに、ビジネス上の機密情報の可能性があるデータ漏洩など、より身近な脅威が含まれています。悪意のある活動のための悪用。また、不正確な出力はユーザーを誤解させたり混乱させたりする可能性があり、最終的にはビジネスに悪影響を及ぼします。
LLM は正確でコンテキストに関連した出力を提供するために膨大な量のデータにアクセスする必要があるため、機密情報が不用意に公開されたり悪用されたりする可能性があります。
「主なリスクは従業員が餌を与えることだ ビジネス上の機密情報を含む 計画を書いたり、会社の機密情報を含む電子メールやビジネス資料の言い換えを依頼したりするときです」とリンゲル氏は述べています。
サイバー攻撃の観点から見ると、脅威アクターはすでに ChatGPT やその他の AI システムを兵器化する無数の方法を発見しています。 1 つの方法は、モデルを使用して高度なビジネス電子メール侵害 (BEC) やその他のフィッシング攻撃を作成することであり、これには成功するために設計されたソーシャル エンジニアリングされたパーソナライズされたメッセージの作成が必要です。
「マルウェアを使用する場合、ChatGPT を使用すると、サイバー犯罪者は無限のコードのバリエーションを作成して、マルウェア検出エンジンの一歩先を行くことができます」と Harr 氏は言います。
AI 幻覚はセキュリティ上の重大な脅威にもなり、悪意のある攻撃者が ChatGPT などの LLM ベースのテクノロジーを独自の方法で攻撃できるようになります。 AI の幻覚とは、不十分、偏りがある、または完全に真実ではない、AI によるもっともらしい応答です。 「架空の応答やその他の望ましくない応答は、組織を誤った意思決定、プロセス、誤解を招くコミュニケーションに導く可能性があります」と Gartner の副社長である Avivah Litan 氏は警告します。
データ セキュリティ プロバイダーである Securiti の AI 担当バイスプレジデントである Michael Rinehart 氏は、脅威アクターはこれらの幻覚を利用して LLM を汚染し、「質問に応じて特定の誤った情報を生成する」こともできると述べています。 「これは、脆弱なソースコードの生成に拡張可能であり、場合によっては、サイトのユーザーを安全でないアクションに誘導できるチャット モデルにも拡張可能です。」
攻撃者は次のようなことまで行う可能性があります 悪意のあるバージョンのソフトウェア パッケージを公開する LLM は、それが問題の正当な修正であると信じて、ソフトウェア開発者に推奨する可能性があります。このようにして、攻撃者は AI をさらに兵器化し、サプライ チェーン攻撃を仕掛けることができます。
行く手
これらのリスクを管理するには、AI イノベーションが業界の制御能力を超える前に、慎重かつ集団的な行動が必要になると専門家は指摘しています。しかし、彼らは AI の問題に対処する方法についてのアイデアも持っています。
ハール氏は次のことを信じています。AIとAで戦う」戦略では、「AI によって促進されるリスクを阻止するためのセキュリティ ソリューションと戦略の進歩は、同等かそれ以上のペースで発展する必要があります。」
「サイバーセキュリティ保護では、AI テクノロジーを使用してサイバー脅威とうまく戦うために AI を活用する必要があります。」と彼は付け加えました。 「それに比べて、従来のセキュリティ テクノロジーでは、こうした攻撃に対して勝ち目はありません。」
ただし、組織は AI の導入に対して、次のような慎重なアプローチを取る必要もあります。 AIベースのセキュリティソリューション — 環境にさらなるリスクを持ち込まないよう、ネットリックスのウィルソン氏は警告します。
「AI とは何か、そしてそうでないものを理解してください」と彼はアドバイスします。 「AI を採用していると主張するベンダーに対し、AI が何をするのか、AI が自社のソリューションをどのように強化するのか、なぜそれが組織にとって重要なのかを説明するよう要求してください。」
Securiti の Rinehart は、焦点を絞ったソリューションを展開し、組織を不必要なリスクにさらす直前にガードレールを設置することで、AI を環境に段階的に導入するための 2 層のアプローチを提供しています。
「まずアプリケーション固有のモデルを採用し、特定のユースケースで価値を提供するように調整された知識ベースによって拡張される可能性があります」と彼は言います。 「その後…プライバシーとセキュリティの問題についてモデルとの間で送受信されるメッセージを精査することで、これらのモデルを保護する監視システムを実装します。」
専門家はまた、リスクを軽減するために後から考えるのではなく、AI を導入する前に AI に関するセキュリティ ポリシーと手順を設定することを推奨しています。コンプライアンスを監視するための専任の AI リスク担当者またはタスクフォースを設置することもできます。
企業の外でも、業界全体が、テクノロジーを開発および使用するすべての人が採用できる AI に関するセキュリティ基準と慣行を確立するための措置を講じる必要があります。これには、世界規模での官民双方の共同行動が必要となります。とダークトレース連邦のファウラー氏は言う。
彼は引用します 安全な AI システムを構築するためのガイドライン これは、AI の継続的な進化に伴う取り組みの例として、米国サイバーセキュリティ・インフラストラクチャセキュリティ庁 (CISA) と英国国家サイバーセキュリティセンター (NCSC) が共同で発表したものです。
Securiti の Rinehart 氏は、「本質的には、2024 年は、この新たな生成 AI 時代において、ユーザーとデータの保護に向けて、従来のセキュリティと最先端の AI 技術の両方が急速に適応されることになるでしょう。」と述べています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.darkreading.com/vulnerabilities-threats/skynet-ahoy-what-to-expect-next-gen-ai-security-risks
