标题摘要内容
【标准动态】美国CSET发布人工智能(AI)标准制定策略
来源:标准与标准化技术 | 作者:标准与标准化技术 | 发布时间: 2023-12-29 | 578 次浏览 | 分享到:

“美国安全与新兴技术中心(CSET)组织研究了多个行业的标准开发案例,以吸取经验教训应用于AI行业,并基于调查研究成果提出了AI标准制定的6大策略。”

01 背景

标准是“对产品或相关过程、实践和生产方法的规则、条件、指南或特性的共同和重复使用”。通过为产品或方法提供通用语言,标准实现了技术的互操作性和信任,帮助市场平稳运行。标准可以帮助技术专家就最佳实践达成共识,标准还可以指导监管机构和政府为新技术制定监管规则。

虽然政府认识到制定可执行标准的重要性,但人工智能(AI)标准仍处于起步阶段。人工智能系统有望通过执行或增强人类难以实现的某些功能(例如检测模式或从大量数据中提取高价值信息),对人们的生活产生积极影响。然而,这些系统也会在许多方面造成伤害,例如通过传播错误信息或强化从训练数据中推断出的偏见。

当前制定AI标准较难的原因主要有两个:一是人工智能缺乏一个普遍认可的定义,因此很难为人工智能制定被广泛接受的衡量标准。二是人工智能技术正在迅速发展,并且是特定于应用程序的,这意味着与特定人工智能系统架构相关的标准可能不会长期有用或适用于广泛的系统。标准的设计还需要考虑到人工智能系统集成环境的风险差异,如从在线购物等低风险用例到武器系统等高风险应用。

工作组研究分析了五个方面的国家和国际标准制定的案例:金融部门的银行机构、职业安全与健康管理局(OSHA)的安全标准和执行机制、网络安全部门的标准化发展、建筑部门的标准可持续性以及食品和药物管理局的医疗器械批准,以期能够识别跨案例研究的标准开发中的见解、警示、成功和可操作步骤,以将其应用于人工智能标准;更好地理解开发人工智能标准的可能方法,为未来人工智能标准的发展提出意见。

02  关键策略

策略1:

人工智能风险评估和缓解,应包括检查相互依赖关系如何影响系统风险。

风险被定义为一个事件结合该事件发生的可能性所产生的不利影响。风险产生的方式并不总是显而易见的,但应该在制定标准时考虑在内实体之间的相互依赖关系可能导致大规模出现的风险存在于多个领域。例如,一个系统中的缺陷可以被它的后继系统继承,并在相互作用的系统之间创建意想不到的行为。在人工智能的背景下,人工智能模型中的bug可能会传播到构建在这些模型之上的应用程序。金融和网络安全案例研究进一步说明了风险如何分别来自与全球经济紧密结合的银行和软件供应链中的薄弱环节。案例研究还提出了可以用于人工智能的减轻系统性风险的方法。

策略2:

对人工智能系统测试和重新批准的指南应该根据风险进行校准,并考虑人工智能系统随时间的变化。

为获得市场批准而进行的测试要求可以成为管理新技术风险的有用工具,并可能用于人工智能技术的治理。这些需求应该被引入作为校准因素,包括系统引入的风险程度以及系统已经被理解的程度。基于风险的需求,即基于其技术特征、能力和使用环境而构成更高风险的系统,需要更严格的测试,已经在美国的一些监管制度中使用,并且是一个很有前途的需求。

策略3:

合规援助可以帮助中小企业准备和执行人工智能监管规定。

虽然标准合规可能是昂贵和复杂的,但合规援助可以帮助减轻公司的负担。可以帮助公司实施和遵守标准的材料通常都需要收费,这使得一些公司证明符合标准的过程成本高昂。这通常包括评估标准合规性质量的指导。例如,英国国家标准机构BSI对医疗器械质量管理的审核收费约为每小时280美元,对技术文件的审核收费约为每小时480美元成本。

策略4:

第三方组织可以消除标准开发、实施、合规和跟踪的障碍。

第三方、非政府组织,包括专业组织和认证组织,可以在消除标准开发、实施、遵守和跟踪的障碍方面发挥重要作用。专业组织可以作为有用的信息收集中介,也可以汇集较小公司的资源,以访问通常昂贵的标准文档。非政府认证组织可以帮助开展标准验证活动,减轻这项工作对政府的负担。私人组织通常也可以相对快速和灵活地制定标准,这些标准随后可以纳入强制性标准。职业安全和健康管理局和可持续发展案例研究强化了这些经验教训,这些经验教训可以应用于人工智能。

策略5:

非监管性治理是一种可以支持人工智能系统安全开发和使用的机制。

虽然目前正在考虑更全面的人工智能治理,例如创建一个独立的人工智能监管机构,但这些计划尚未细化。随着这些对话的推进,美国政府可以从金融、网络安全和可持续发展案例研究中吸取经验教训,以确保坚持“以规则为基础、以私营部门为主导的标准制定方法”的基本承诺。“建立了高能力人工智能模型的50个组织主要来自私营部门,因此他们的技术专长和视角应该纳入标准制定的讨论中。

策略6:

对标准进行协调和定期的有效性检查,可以确保高效和有效的标准开发。

跨部门标准开发,可能是一个漫长的、多利益相关方参与的过程,需要几个阶段展开。OSHA、可持续性和网络安全案例研究表明,标准制定需要长期保持警惕。标准可能很快就会过时,或者可能会伤害弱势群体,因此非常需要提高标准有效性和寿命的策略,使不同的利益相关者能够为标准制定做出贡献,并定期召集这些利益相关者进行更新,这些机制有助于保护标准的完整性。

标准的制定是一个持续多年的过程,应该定期回顾。表明研究,1981年至2010年,OSHA平均花了7年多的时间制定和发布安全和卫生标准,仅仅是确定新标准的必要性就可能需要三年以上的时间。网络安全案例研究的负责人强调,网络安全标准的发展时间可能很长,并指出网络安全标准的成熟需要几十年的时间。

即使在开发后阶段,标准也不能保证实现政策目标。过于宽松的标准可能会被广泛采用,但无法显著改善个别情况或总体的结果。另一方面,过度限制的标准可能根本无法获得重大采用,从而大大限制了其对结果的潜在影响。例如,LEED标准被批评没有考虑发展中国家绿色建筑项目的当地要求和优先事项。决策者必须仔细考虑执行标准的收益和成本。

需要许多年才能最终确定并最终证明无效的标准会给社会带来成本。在制定和采用标准的过程中,原本可以避免的新危害可能会出现。在快速变化的世界中,一旦发布,标准可能很快就会过时。因此,在很长一段时间内建立的标准可能需要纳入在开发过程中出现的新发现,并在发布后进行更新。

创建持续有效的标准的一个策略是促进不同利益相关者群体之间的协调。国际机构、非营利组织和各种其他组织交换意见,可以帮助将不同的风险观点注入标准,确保标准能够适应技术发展。协调可以采取投票的形式。例如,ISO标准每5年公开征求意见,之后由165个成员国投票表决。可持续标准制定机构USGBC森林管理委员会也在标准上进行合作,因为他们的标准是相互依赖的:虽然在建筑中使用木材可以减少碳排放,但只有在森林得到可持续管理和木材不进行超长距离运输的情况下才能做到这一点。然而,促进利益相关者之间的协调可能延长标准开发的时间,因为聚合来自不同团体的意见往往是耗时的。因此,应该在承诺标准开发的合理时间表和与尽可能多的相关利益相关者进行协调之间取得平衡。

多方利益相关方的协调可以增强标准对新出现风险的抵御能力,但也应该监测和迭代标准,以随着时间的推移提高其有效性。特别是对于新技术或新领域,标准的第一个版本可能是不完美的。例如,OSHA标准在公布后几乎总是会因为要求过于宽松或过于严格而受到工人或企业的质疑。随着越来越多的信息可用,标准开发人员和其他利益相关者应该分析标准的有效性,并根据需要进行调整。例如,研究人员发现,LEED标准与环境结果的联系可能并不像以前认为的那样紧密,正如前面提到的,LEED标准被批评对新兴市场不敏感。即便如此,新兴市场更容易实现的替代标准已经填补了这一遗憾。这说明了跟踪标准的影响可以帮助解决它们的局限性。


由于人工智能标准的讨论仍处于早期阶段,技术能力发展迅速,因此全面的人工智能标准的制定可能需要几年的时间。有必要调整标准以及制定标准的制度,以应对不断发展的技术的创新速度。虽然人工智能标准的开发、发布和采用的可变时间表可能限制标准的灵活性,但协调和频繁的有效性检查可以确保人工智能标准仍然保持关联性。