为了提供清晰性并避免潜在的危害，影响人类生命的算法最好在部署之前由独立机构进行审核，就像在开始建设项目之前必须先批准环境影响报告一样。 尽管在美国对AI的法律要求不存在，但已经创建了许多初创公司来填补算法审计和风险评估的空白。

公众和潜在客户信任的第三方可以增加对AI系统的整体信任。 正如航空和自动驾驶领域的AI初创公司所主张的那样，法规可以推动创新并帮助企业，政府和个人安全地采用AI。

近年来，我们看到了众多法律建议，这些法律支持外部公司进行算法审核，去年，来自学术界，行业和民间社会的数十位人工智能界有影响力的成员提出了建议 外部算法审核 作为将AI原则付诸实践的一种方式。

像帮助企业的咨询公司 扩展AI部署, 提供数据监控服务，并对非结构化数据进行分类，算法审计初创公司填补了成长中的AI行业的利基市场。 但是有关HireVue的最新事件似乎说明了这些公司与其他AI初创公司的不同之处。

HireVue 目前，包括Delta，Hilton和Unilever在内的700多家公司使用它来根据求职者，视频面试或其玩心理测验游戏的表现对求职者进行预建和自定义评估。

两周前，HireVue宣布将不再使用面部分析来确定一个人是否适合工作。 您可能会问自己：怎样才能识别一个人的脸部特征被认为是可以胜任工作的科学验证方法？ 好吧，HireVue从未真正证明过这些结果，但是这一说法引起了很多疑问。

HireVue高管在2019年表示 能力分数的10％至30％ 可能与面部分析有关。 但是当时的报道称该公司的主张为“深刻的困扰。” 在这家位于犹他州的公司决定放弃面部分析之前，道德负责人Suresh Venkatasubramanian 从HireVue顾问委员会辞职。 电子隐私信息中心提交了一份 抱怨 联邦贸易委员会（FTC）指控HireVue从事不公平和欺骗性的贸易行为，违反了 FTC法。 该投诉特别引用了一些研究，这些研究发现面部识别系统可以根据人的种族来不同地识别情绪。 投诉还指出了面部识别系统记录错误的历史记录 黑皮肤的女人, 不符合二元性别身份的人及 亚裔美国人.

面部分析可能无法识别个人（就像面部识别技术一样），而是识别AI伙伴关系 把它，面部分析可以对具有“更复杂的文化，社会和政治影响”的特征进行分类，例如年龄，种族或性别。

尽管存在这些担忧， 新闻稿 HireVue宣布了审计结果，并指出：“审计得出的结论是[[HireVue]评估在公平性和偏见问题方面如广告所宣传。”奥卡），由数据科学家Cathy O'Neil创建。 奥尼尔也是这本书的作者 数学毁灭武器，其中着重研究了算法对社会的影响。

审计报告不包含对AI系统培训数据或代码的分析，而是有关HireVue AI可能对八项能力评估进行早期职业求职者的预先评估时引起的伤害的讨论。

ORCAA审核向公司内部和外部利益相关者的团队提出了问题，包括被要求使用HireVue软件进行测试的人以及为公司服务付费的企业。

签署法律协议后， 您可以阅读八页审核 为自己准备文件。 它指出，在ORCAA进行审核时，HireVue已经决定开始逐步淘汰面部分析。

审计还传达了利益相关者的担忧，即视觉分析通常会使人们感到不舒服。 一位利益相关者访谈参与者表示担心，HireVue面部分析对戴着头饰或面罩的人可能会有所不同，并过多地标记了他们的申请以供人工检查。 去年秋天， VentureBeat报告称，皮肤黝黑的人通过远程监理软件参加状态栏考试 表示了类似的关注。

布鲁金斯学会研究员Alex Engler的工作重点是AI治理问题。 在一个 本周在《快速公司》上发表，恩格勒（Engler）写道，他认为HireVue错误地描述了审计结果以从事 道德洗涤的形式 并称该公司对“有利于媒体而不是合法内省”更感兴趣。 他还将算法审计初创公司描述为“新兴但陷入困境的行业”，并呼吁政府进行监督或监管，以保持审计诚实。

HireVue首席执行官Kevin Parker告诉VentureBeat，该公司大约在一年前开始逐步淘汰面部分析的使用。 他说，在负面新闻报道和内部评估之后，HireVue做出了这一决定，得出的结论是：“包括它的好处不足以证明其引起的关注。”

亚历克斯·恩格尔（Alex Engle）是对的：像我这样的算法审计公司有被腐败的风险。

我们需要更多的杠杆作用，以开放的方法和结果正确地做事。

我们在哪里可以得到这种杠杆作用？ 诉讼，监管执行或同时执行。https://t.co/2zkgFs4YEo

-凯茜·奥尼尔（Cathy O'Neil）（@mathbabedotorg） 2021 年 1 月 26 日

帕克对恩格勒关于HireVue错误地描述了审计结果的说法提出异议，并说他为这一结果感到骄傲。 但是Engler，HireVue和ORCAA同意的一件事是，需要对整个行业进行变革。

“有一个标准说'这就是我们说算法审计时的意思'，它涵盖的内容及其意图是什么，这将非常有帮助，我们渴望参与其中，并看到那些标准出来了。 无论是监管还是行业，我都认为这将有所帮助。”

那么，算法审计初创公司需要什么样的政府法规，行业标准或内部业务政策才能成功？ 他们如何保持独立性并避免像近年来的一些AI伦理学研究和技术计划中的多样性那样被选拔？

为了找出答案，VentureBeat与来自 百合网, 平价以及ORCAA，这是为企业和政府客户提供算法审核的初创公司。

要求企业进行算法审核

这三家公司中的每一个工作人员都认可的一种解决方案是制定法规，要求进行算法审核，尤其是对于那些告知决策会严重影响人们生活的算法。

bnh.ai首席科学家兼乔治华盛顿大学客座教授Patrick Hall说：“我认为最终的答案是联邦法规，我们已经在银行业看到了这一点。” 美联储 SR-11的 模型风险管理指南目前要求对统计模型和机器学习模型进行审核，霍尔认为这是朝正确方向迈出的一步。 美国国家标准技术研究院（NIST）测试由私人公司培训的面部识别系统，但这是自愿程序。

ORCAA首席策略师雅各布·阿佩尔（Jacob Appel）表示，当前将算法审计定义为所选算法审计员所提供的任何内容。 他建议公司必须像公开交易的公司必须共享财务报表一样，披露算法审计报告。 对于在没有法律义务的情况下进行严格审核的企业来说，这是值得赞扬的，但是Appel说，这种自愿行为反映了当前监管环境中缺乏监督。

他说：“如果对HireVue审计结果的发布方式有任何投诉或批评，我认为将缺乏法律标准和监管要求联系起来有助于实现这些结果，将很有帮助。” “这些早期的例子可能有助于强调或强调对法律和法规要求能够为审计师提供更多动力的环境的需求。”

越来越多的迹象表明外部算法审核可能成为标准。 美国某些地方的立法者提出了立法，以有效地为算法审计初创企业创造市场。 在纽约市， 立法者提议授权 招聘使用AI的软件的年度测试。 去年秋天，加州选民否决了《 25号提案》，该提案将要求各县以算法评估取代现金保释制度。 的 相关的参议院法案36 需要由独立的第三方对审前风险评估算法进行外部审查。 2019年，联邦立法者 引入了《算法责任法案》 要求公司调查并修正导致歧视或不公平待遇的算法。

但是，任何监管要求都必须考虑如何衡量第三方提供的AI的公平性和影响，因为很少有AI系统完全是在内部构建的。

朗曼·乔杜里（Rumman Chowdhury）是Parity的首席执行官，这是她几个月前创立的公司，此前她担任埃森哲负责任的AI的全球负责人。 她认为，此类法规应考虑到不同行业的用例范围可能很大的事实。 她还认为，立法应该解决不想共享培训数据或代码的AI初创公司的知识产权主张， 这类初创公司经常引起关注 在法律程序中。

她说：“我认为，这里的挑战是在透明性与公司保护知识产权及其建设内容的​​实际需求之间取得平衡。” “说公司应该共享所有数据和模型是不公平的，因为它们确实拥有正在构建的IP，并且您可能正在审核一家初创公司。”

保持独立性并赢得公众信任

为了避免选择算法来审计启动空间，乔杜里说，通过IEEE或政府法规等组织建立通用的专业标准至关重要。 她说，任何强制执行或标准都可能包括政府要求审计师接受某种形式的培训或证明。

Appel建议提高公众信任度并扩大受技术影响的利益相关者群体的另一种方法是规定算法的公众意见征询期。 通常在法律或政策建议或诸如拟议的建筑项目之类的公民努力之前调用此类期限。

其他政府已经开始采取措施来增加公众对算法的信任。 的城市 阿姆斯特丹和赫尔辛基创建了算法注册表 在2020年末，为当地居民提供负责部署特定算法的人员和城市部门的名称，并提供反馈。

定义审核和算法

具有数十亿个参数的语言模型与没有定性模型的简单算法决策系统不同。 可能需要定义算法，以帮助定义审核应包含的内容，以及帮助公司了解审核应完成的工作。

“我确实认为法规和标准确实需要对审核的预期，应完成的内容非常明确，以便公司可以说'这是审核不能做的事情，这是可以做的事情。' 它有助于管理我认为的期望。”乔杜里说。

人类使用机器进行文化变革

上个月，一群AI研究人员呼吁 计算机视觉和NLP社区的文化变革。 他们发表的一篇论文考虑了文化转变对公司内部数据科学家的影响。 研究人员的建议包括通过文档，过程和流程改进数据文档实践和审核跟踪。

乔杜里还建议人工智能行业的人们寻求从其他行业已经面临的结构性问题中学习。

例如最近发布的 AI事件数据库，它借鉴了用于航空和计算机安全的方法。 该数据库是由AI伙伴关系创建的，是一项协作工作，用于记录AI系统发生故障的实例。 其他人认为AI行业 激励 在网络中寻找偏见 安全行业会提供漏洞赏金。

“我认为查看漏洞赏金和事件报告数据库之类的东西真的很有趣，因为它使公司能够以一种我们所有人都在努力修复它们的方式来公开他们系统中的缺陷，而不是用矛头指向它们，因为这是错误的，”她说。 “我认为确保成功的方法是在事实发生后才能进行审计，而审计必须在发布某些内容之前进行。”

不要认为审核是万能的

正如ORCAA对HireVue用例的审核所显示的那样，审核的披露可能受到限制，并不一定确保AI系统不受偏见。

乔杜里说，她通常会与客户脱节，这是期望审计人员只考虑代码或数据分析。 她说，审计还可以关注特定的用例，例如从边缘化社区收集意见，风险管理或对公司文化进行严格审查。

“我确实认为对于审计将要完成的工作有理想主义的想法。 审核只是一份报告。 她说，这不会解决所有问题，甚至也不会找出所有问题。

Bnh.ai董事总经理安德鲁·伯特（Andrew Burt）表示，客户倾向于将审计视为灵丹妙药，而不是监督算法在实践中的持续过程的一部分。

“由于在实践中采用了AI的方式，因此，一次审核是有帮助的，但只能起到一定作用。 基本数据会发生变化，模型本身会发生变化，并且相同的模型经常用于次要目的，所有这些都需要定期审查。” Burt说。

考虑超出合法范围的风险

确保遵守政府法规的审计可能不足以捕捉潜在的高成本风险。 审计可能会使公司脱离法庭，但这与跟上不断发展的道德标准或管理不道德或不负责任的行为构成公司底线的风险并不总是同一回事。

“我认为算法审计应该在某些方面不仅涉及合规性，而且还涉及道德和负责任的使用，顺便说一句，这是风险管理的一个方面，例如声誉风险是一个考虑因素。 你绝对可以做一个大家都认为很糟糕的合法事情，”乔杜里说。 “算法审核的一个方面应该包括对社会的影响，因为它与对公司的声誉影响有关，而实际上与法律无关。 这实际上是法律之外的其他东西吗？”

最后的思考

Chowdhury说，在当今算法审计初创公司的环境中，她担心公司足够聪明，以至于了解不作为的政策含义可能会试图选择审计程序并窃取叙述。 她还担心，面临增加收入压力的初创公司的委托书可能不足以进行强有力的审计。

她说：“我很想相信每个人都是一个好演员，每个人都不是一个好演员，从本质上讲，以算法审计的名义向公司提供道德洗礼无疑是一件艰巨的事情。” “由于进行审计意味着什么，这有点荒野，这是任何人的游戏。 不幸的是，当这是任何人的游戏，而另一个演员没有表现出最高水准的动力时，我担心的就是最低分母。”

联邦贸易委员会，司法部和白宫科学技术办公室的拜登高级行政官员都已表示计划加强对AI的监管，并且 民主党国会可以解决一系列技术政策问题. 内部审计框架 风险评估也是一种选择。 的 经合组织 和Data＆Society目前正在开发风险评估分类工具，企业可以使用该工具来确定应将算法视为高风险还是低风险。

但是算法审核初创企业与其他AI初创企业的不同之处在于，它们需要寻求独立仲裁员的批准，并在某种程度上需要公众的认可。 为了确保其成功，算法审核初创公司背后的人们（如我所采访的人）越来越多地提出更强有力的行业法规和标准。