明確さを提供し、潜在的な危害を回避するために、建設プロジェクトを開始する前に環境影響レポートを承認する必要があるのと同様に、人間の生活に影響を与えるアルゴリズムは、展開する前に独立機関によってレビューされるのが理想的です。 米国にはそのようなAIの法的要件はありませんが、アルゴリズムの監査とリスク評価の空白を埋めるために多くのスタートアップが設立されました。

一般の人々や潜在的な顧客から信頼されているサードパーティは、AIシステム全体への信頼を高める可能性があります。 航空および自動運転のAIスタートアップが主張しているように、規制はイノベーションを可能にし、企業、政府、個人がAIを安全に採用するのに役立つ可能性があります。

近年、外部企業によるアルゴリズム監査をサポートする多数の法律の提案が見られ、昨年は、学界、産業界、市民社会からのAIコミュニティの影響力のある数十人のメンバーが推奨しました。 外部アルゴリズム監査 AIの原則を実行に移すXNUMXつの方法として。

ビジネスを支援するコンサルティング会社のように AIの展開を拡大する, データ監視サービスを提供する、および非構造化データの並べ替え、アルゴリズム監査のスタートアップは、成長するAI業界のニッチを埋めます。 しかし、HireVueを取り巻く最近の出来事は、これらの企業が他のAIスタートアップとどのように異なるかを示しているようです。

HireVue 現在、Delta、Hilton、Unileverを含む700以上の企業で、履歴書、ビデオ面接、または心理測定ゲームをプレイする際のパフォーマンスに基づいて、求職者の事前構築およびカスタム評価に使用されています。

XNUMX週間前、HireVueは、人が仕事に適しているかどうかを判断するために顔の分析を使用しないことを発表しました。 あなたは自問するかもしれません：人の顔の特徴を認識することは、彼らが仕事に適格であると結論付けるための科学的に検証可能な方法とどのように考えられてきましたか？ ええと、HireVueは実際にそれらの結果を証明したことはありませんが、主張は多くの疑問を提起しました。

HireVueの幹部は2019年に次のように述べています コンピテンシースコアの10％から30％ 顔の分析に結びつく可能性があります。 しかし、当時の報告は会社の主張を「ひどく邪魔。」 ユタを拠点とする会社が顔の分析をやめることを決定する前に、倫理リーダーのSuresh Venkatasubramanian HireVue諮問委員会を辞任。 そして、電子プライバシー情報センターは、 苦情 連邦取引委員会（FTC）は、HireVueが不公正で欺瞞的な取引慣行に違反していると主張しています。 FTC法。 苦情は、顔認識システムが人種に基づいて感情を異なる​​方法で識別する可能性があることを発見した研究を具体的に引用しています。 苦情はまた、顔認識システムの誤認の文書化された歴史を指摘しました 肌の色が濃い女性, 二元的な性別アイデンティティに準拠していない人, アジア系アメリカ人.

顔分析では、顔認識技術のように個人を特定できない場合がありますが、AIのパートナーシップとして特定する場合があります。 それを置く、顔の分析では、年齢、人種、性別など、「より複雑な文化的、社会的、政治的影響」を持つ特性を分類できます。

これらの懸念にもかかわらず、 プレスリリース 監査の結果を発表したHireVueは、次のように述べています。「監査は、「[HireVue]の評価は、公平性とバイアスの問題に関して宣伝どおりに機能する」と結論付けました。オルカ）、データサイエンティストのCathyO'Neilによって作成されました。 オニールは本の著者でもあります 数学破壊の武器、アルゴリズムが社会に与える影響を批判的に考察します。

監査レポートには、AIシステムのトレーニングデータやコードの分析は含まれていませんが、HireVueのAIが、XNUMXつの能力測定にわたって初期のキャリア求職者の事前構築された評価を実施する際に引き起こす可能性のある害の種類についての会話が含まれています。

ORCAA監査は、HireVueソフトウェアを使用してテストを受けるように依頼された人々や、会社のサービスにお金を払っている企業など、社内のチームや外部の利害関係者に質問を投げかけました。

法的な合意に署名した後、 あなたはXNUMXページの監査を読むことができます あなた自身のための文書。 ORCAAが監査を実施するまでに、HireVueはすでに顔分析の段階的廃止を開始することを決定していたと述べています。

監査はまた、視覚的分析が人々を一般的に不快にするという利害関係者の間の懸念を伝えます。 また、利害関係者のインタビュー参加者は、HireVueの顔分析は、頭や顔のカバーを着用している人とは異なる働きをし、人間によるレビューの申請に不釣り合いにフラグを立てる可能性があると懸念を表明しました。 昨秋、 VentureBeatは、肌の色が濃い人がリモート監督ソフトウェアで司法試験を受けていると報告しました 同様の懸念を表明した。

ブルッキングス研究所のフェローであるAlexEnglerの仕事は、AIガバナンスの問題に焦点を当てています。 で 今週FastCompanyで論説、エングラーは、HireVueが監査結果を誤って特徴付けて、 倫理的洗浄の形態 そして、同社は「正当な内省よりも好意的な報道」に関心があると説明した。 彼はまた、アルゴリズム監査のスタートアップを「急成長しているが問題を抱えている業界」として特徴づけ、監査を正直に保つために政府の監視または規制を求めた。

HireVueのCEOであるKevinParkerは、VentureBeatに対し、同社は約XNUMX年前に顔分析の使用を段階的に廃止し始めたと語った。 彼は、HireVueが否定的なニュース報道と「それを含めることの利点は、それが引き起こしている懸念を正当化するのに十分ではなかった」と結論付けた内部評価の後にその決定に到達したと述べた。

Alex Engleは正しいです。私のようなアルゴリズム監査会社は、腐敗するリスクがあります。

オープンな方法論と結果で、物事を正しく行うには、より多くのレバレッジが必要です。

どこでそのようなレバレッジを得るでしょうか？ 訴訟、規制の執行、またはその両方。https://t.co/2zkgFs4YEo

—キャシー・オニール（@mathbabedotorg） 2021 年 1 月 26 日

パーカーは、HireVueが監査結果の特徴を誤っているというエングラーの主張に異議を唱え、その結果を誇りに思っていると述べました。 しかし、Engler、HireVue、およびORCAAが同意することのXNUMXつは、業界全体の変更の必要性です。

「「アルゴリズム監査と言うときの意味は次のとおりです」と書かれた基準があり、それが何をカバーし、意図が何であるかを示すことは非常に役立ちます。私たちはそれに参加し、それらの基準が出てくるのを楽しみにしています。 規制であろうと業界であろうと、すべてが役立つと思います」とパーカー氏は述べています。

では、アルゴリズム監査のスタートアップが成功するには、どのような政府規制、業界標準、または社内のビジネスポリシーが必要なのでしょうか。 また、近年のAI倫理研究や技術イニシアチブの多様性のように、独立性を維持し、採用されることを回避するにはどうすればよいでしょうか。

調べるために、VentureBeatはからの代表者と話しました bnh.ai, パリティ、およびORCAA、企業および政府のクライアントにアルゴリズム監査を提供するスタートアップ。

企業にアルゴリズム監査の実施を要求する

XNUMX社のそれぞれで働く人々によって承認されたXNUMXつの解決策は、特に人々の生活に大きな影響を与える決定を通知するアルゴリズムについて、アルゴリズム監査を要求する規制を制定することでした。

「最終的な答えは連邦規制だと思います。これは銀行業界で見られます」と、bnh.aiの主任​​科学者でジョージワシントン大学の客員教授であるパトリックホール氏は述べています。 連邦準備制度 SR-11 モデルリスク管理に関するガイダンスでは、現在、統計モデルと機械学習モデルの監査が義務付けられており、ホールはこれを正しい方向への一歩と見なしています。 米国国立標準技術研究所（NIST）は、民間企業によってトレーニングされた顔認識システムをテストしていますが、これは自主的なプロセスです。

ORCAAのチーフストラテジストであるジェイコブアペル氏は、アルゴリズム監査は現在、選択されたアルゴリズム監査人が提供するものとして定義されていると述べました。 彼は、上場企業が財務諸表を共有する義務があるのと同じ方法で、企業がアルゴリズム監査レポートを開示する必要があることを示唆しています。 法的義務がない場合に企業が厳格な監査を実施することは称賛に値しますが、Appelは、この自主的な慣行は現在の規制環境における監視の欠如を反映していると述べました。

「HireVueの監査結果がどのように発表されたかについて苦情や批判がある場合は、法的基準や規制要件の欠如との関連をそれらの結果に貢献していると見なすことが役立つと思います」と彼は言いました。 「これらの初期の例は、監査人にもう少し勢いを与える法的および規制上の要件がある環境の必要性を強調または強調するのに役立つ可能性があります。」

外部アルゴリズム監査が標準になる可能性があるという兆候が高まっています。 米国の一部の議員は、アルゴリズム監査の新興企業のための市場を効果的に創出する法律を提案しています。 ニューヨーク市では、 議員は義務化を提案しました AIを使用するソフトウェアを採用するための年次テスト。 昨年の秋、カリフォルニア州の有権者は提案25を却下しました。これにより、郡は現金保釈システムをアルゴリズムによる評価に置き換える必要がありました。 ザ・ 関連する上院法案36 独立した第三者による裁判前のリスク評価アルゴリズムの外部レビューが必要です。 2019年、連邦議員 アルゴリズムによる説明責任法を導入 差別的または不公正な扱いをもたらすアルゴリズムを調査および修正することを企業に要求すること。

ただし、完全に社内で構築されているAIシステムはほとんどないため、規制要件では、公平性とサードパーティが提供するAIの影響を測定する方法を検討する必要があります。

Rumman Chowdhuryは、アクセンチュアで責任あるAIのグローバルリーダーとしての地位を離れた後、数か月前に設立した会社であるParityのCEOです。 彼女は、そのような規制は、ユースケースが業界ごとに大きく異なる可能性があるという事実を考慮に入れるべきであると信じています。 彼女はまた、法律はトレーニングデータやコードを共有したくないAIスタートアップからの知的財産権の主張に対処する必要があると信じています。 そのようなスタートアップがしばしば提起する懸念 訴訟手続きにおいて。

「ここでの課題は、透明性と、企業がIPと構築しているものを保護するための非常に現実的で具体的なニーズとのバランスを取ることだと思います」と彼女は言いました。 「企業は構築中のIPを持っているため、すべてのデータとモデルを共有する必要があると言うのは不公平です。スタートアップを監査する可能性があります。」

独立性を維持し、国民の信頼を高める

Chowdhury氏は、スタートアップスペースを監査するアルゴリズムの採用を回避するために、IEEEや政府規制などのグループを通じて共通の専門的基準を確立することが不可欠であると述べました。 施行や基準には、監査人が何らかの形のトレーニングや認証を受けるという政府の義務も含まれる可能性があると彼女は述べた。

Appelは、公共の信頼性を高め、テクノロジーの影響を受ける利害関係者のコミュニティを拡大する別の方法は、アルゴリズムの公開コメント期間を義務付けることであると提案しました。 このような期間は通常、法律や政策の提案、または提案された建築プロジェクトのような市民の努力に先立って呼び出されます。

他の政府は、アルゴリズムに対する国民の信頼を高めるための措置を実施し始めています。 の都市 アムステルダムとヘルシンキはアルゴリズムレジストリを作成しました 2020年後半に、特定のアルゴリズムの展開を担当する人と市の部門の名前を地域住民に知らせ、フィードバックを提供します。

監査とアルゴリズムを定義する

数十億のパラメーターを持つ言語モデルは、定性的モデルなしで作成された単純なアルゴリズムによる意思決定システムとは異なります。 アルゴリズムの定義は、監査に何を含めるべきかを定義するのに役立つだけでなく、企業が監査の何を達成すべきかを理解するのに役立つ場合があります。

「私は、企業が「これは監査ができないことであり、これができることである」と言えるように、規制と基準は監査に期待されること、それが達成すべきことについて非常に明確である必要があると思います。 それは私が思う期待を管理するのに役立ちます」とChowdhuryは言いました。

機械を扱う人間の文化の変化

先月、AI研究者の幹部が コンピュータビジョンとNLPコミュニティの文化の変化。 彼らが発表した論文は、企業内のデータサイエンティストにとっての文化の変化の影響を検討しています。 研究者の提案には、文書化、手順、およびプロセスを通じたデータ文書化の実践と監査証跡の改善が含まれます。

Chowdhuryはまた、AI業界の人々が、他の業界がすでに直面している構造的な問題から学ぼうとしていることを示唆しました。

この例には、最近発売されたものが含まれます AIインシデントデータベース、航空およびコンピュータセキュリティで使用されるアプローチを借用します。 パートナーシップ・オン・AIによって作成されたデータベースは、AIシステムに障害が発生したインスタンスを文書化するための共同作業です。 他の人は、AI業界が 奨励します ネットワークのバイアスを見つける方法 セキュリティ業界はバグバウンティを利用しています。

「バグバウンティやインシデントレポートデータベースのようなものを見るのは本当に興味深いと思います。なぜなら、企業はシステムの欠陥について、私たち全員が指を指すのではなく修正に取り組んでいる方法で非常に公開できるからです。それは間違っていた」と彼女は言った。 「それを成功させる方法は、事後には実行できない監査だと思います。何かがリリースされる前に実行する必要があります。」

監査をすべての治療法と見なさないでください

ORCAAによるHireVueユースケースの監査が示すように、監査の開示は制限される可能性があり、AIシステムに偏りがないことを必ずしも保証するものではありません。

Chowdhury氏は、クライアントと頻繁に遭遇する切断は、監査がコードまたはデータ分析のみを考慮することを期待していると述べました。 彼女はまた、監査は、疎外されたコミュニティからのインプットの収集、リスク管理、企業文化の批判的調査など、特定のユースケースに焦点を当てることができると述べました。

「私は、監査が何を達成しようとしているのかについての理想的な考えがあると思います。 監査は単なるレポートです。 すべてを修正するわけではなく、すべての問題を特定することすらできません」と彼女は言いました。

Bnh.aiのマネージングディレクターであるAndrewBurt氏は、クライアントは、アルゴリズムが実際にどのように機能するかを監視する継続的なプロセスの一部ではなく、万能薬と見なす傾向があると述べました。

「XNUMX回限りの監査は役に立ちますが、AIが実際に実装されている方法のため、ある程度までしかありません。 基礎となるデータが変更され、モデル自体が変更される可能性があり、同じモデルが二次的な目的で頻繁に使用されます。これらはすべて定期的なレビューが必要です」とバート氏は述べています。

法的な範囲を超えたリスクを検討する

政府の規制への準拠を確認するための監査は、潜在的にコストのかかるリスクを捉えるのに十分でない場合があります。 監査は会社を法廷に立たせないかもしれませんが、それは進化する倫理基準に追いつくことや、非倫理的または無責任な行動が会社の収益にもたらすリスクを管理することと必ずしも同じではありません。

「コンプライアンスだけでなく、倫理的かつ責任ある使用に関するアルゴリズム監査の側面があるべきだと思います。これは、レピュテーションリスクが考慮されるように、リスク管理の側面です。 誰もがひどいと思う合法的なことを絶対に行うことができます」とChowdhury氏は述べています。 「アルゴリズム監査には、会社への評判への影響に関連する社会への影響を含める必要があり、実際には法律とは関係ありません。 それは実際には法を超えて他に何がありますか？」

最終的な考え

アルゴリズム監査のスタートアップにとって今日の環境では、Chowdhury氏は、怠慢のポリシーへの影響を理解するのに十分な知識を持った企業が監査プロセスを採用して物語を盗もうとするのではないかと心配していると述べた。 彼女はまた、収益を伸ばすよう圧力をかけられた新興企業が、強力な監査よりも署名が少ない可能性があることを懸念しています。

「誰もが良い俳優であると信じたいのですが、誰もが良い俳優ではありません。アルゴリズム監査を装って企業に倫理的な洗浄を本質的に提供することによって行われるべきギャップは確かにあります」と彼女は言いました。 「監査を行うことの意味に関しては、西部開拓時代の領域であるため、誰のゲームでもあります。 そして残念ながら、それが誰かのゲームであり、他の俳優が最高水準で演技するように動機付けられていない場合、私たちは最小公分母に下がるつもりです。私の恐れです。」

FTC、司法省、ホワイトハウス科学技術局のバイデン政権の最高幹部はすべて、AIの規制を強化する計画を示しています。 民主党議会は、さまざまな技術政策の問題に取り組むことができます. 内部監査フレームワーク リスク評価もオプションです。 ザ・ OECD Data＆Societyは現在、アルゴリズムを高リスクと見なすべきか低リスクと見なすべきかを特定するために企業が使用できるリスク評価分類ツールを開発しています。

しかし、アルゴリズム監査のスタートアップは、独立したアービターとある程度一般の人々からの承認を求める必要があるという点で、他のAIスタートアップとは異なります。 彼らの成功を確実にするために、私が話したようなアルゴリズム監査スタートアップの背後にいる人々は、ますます強力な業界全体の規制と基準を提案しています。