【智能与法】Joshua New ，Daniel Castro：算法问责制及其运用

B D A I L C 

 欢 迎 关 注 

Hudson River · Leon Dabo

算法问责制及其运用

一、算法问责制的定义

在某些应用场景中，所需要推行的监管原则是算法问责制，而不是上面所讨论的那些方法。可以肯定的是，算法问责制的概念本身面临着成为流行语的风险，因为许多人将它与其他概念混为一谈。例如，联邦贸易委员会前首席技术专家Ashkan Soltani表示，虽然该委员会的既定目标是追求算法透明性，“但可能‘问责制’才是更为适用的术语”，并指出编写代码的公司公开源代码是并不总是一个有效的解决方案。[1]万维网基金会（World Wide Web Foundation）描述道，“当应用算法时，算法问责制经常与其他价值（如透明性）混淆。……然而，近年来有几位研究人员指出在将算法问责制定义为透明性方面存在局限性。……虽然我们正处于对算法问责制的定义尚未达成一致的阶段，但专家和从业人员一直在提出一般性原则，并有待辩论。”[2]

虽然一些定义算法问责制的尝试通常是有益的，但它们对监管者没有多大帮助。例如，2016年，一个名为“公平、问责和透明性”的计算机科学家和研究人员的组织，在机器学习（FAT/ML）社区中的发布了其“责任算法原则”，其中规定责任、可解释性、准确性和可审计性均为算法问责制的关键组成部分。[3]不同于其他采用一刀切方法的建议，FAT/ML的原则强调可用于减轻算法潜在风险的各种技术解决方案，并阐明如“责任”这样的概念可能是从技术角度来加以解释的。但是，FAT/ML的原则是面向研发者社区的，因此没有充当治理基础的意义。

也许算法问责制的最佳定义来自万维网基金会（World Wide Web Foundation），该基金会将其描述为“（确保）危害可以在算法系统中进行评估、控制和纠正”。[4]如下一节所述，这是一个算法问责制的核心组成部分，尽管万维网基金会并未确定算法问责制是如何与法律或监管框架之间产生联系的，但却留下了应该在何时以及如何实施该制度的问题——以实现他们所称的“算法正义”，即开放式结果。[5]

本文对算法问责制的定义有三个简单目标：增进可取的和有益的结果；防范不良的和有害的结果；并确保适用于人类决策的法律也能够有效地适用于算法决策。

算法的应用者是指将算法应用于实践的相关组织，监管者应当根据算法问责制来判定此类组织的法律责任。举例来说，使用算法来审查跨境人员的政府机构或者使用人工智能系统来筛选工作申请者的公司，都是算法应用者；而发布算法的研发者则不在这一范畴。这样进行区分是非常有必要的。以带有某种人口偏见的算法为例，仅仅开发出这种算法并不会产生现实的危害；除非有应用者以一种可能引起损害的方式把它应用于实践，监管者就没有必要去审查它。这就好比仅仅持有偏见想法的人并不违法；但是如果他们基于偏见进行决策，例如决定雇用何人，就是违法的。

算法问责制的治理框架基于以下原则：算法系统应设有多种控制方式，以确保应用者在使用过程中能够：

• 检验算法是否依其意图工作；并且

• 能够对算法产生的有害结果进行识别和纠正。

算法问责制能够增进有益的结果，并对不利的情况进行防范；同时确保算法决策受到与人类决策同样的约束。这种方法是技术中立的，它允许算法应用者灵活采用多种不同的技术性和程序性机制，来确证其自身满足算法问责制的要求。而且，具有重要意义的是，只有当算法的应用显现出足够明显的潜在危害，确有必要对其进行监管和审查时，算法问责机制才被启动；仅仅造成轻微困扰的算法决策并不会被问责。

（一）应用者能够检验算法是否依其意图工作

实现算法问责制的第一步是确定算法是否按照应用者的意图工作。如果答案是肯定的，而且应用者正在使用算法造成伤害，那么接下来重要的一步就是用各行业中已有的规定对应用者进行规制，这些规定包括禁止种族歧视、正当程序原则等。当应用者意图造成伤害时，他们是否使用算法来这样做是无关紧要的。根据实际情况，可以采用多种不同的技术性和程序性机制来判断损害是否是故意的。这些机制包括：透明性、可解释性、置信度和程序规则性。在大多数情况下，应用者可能不得不采用这些机制中的几种机制的组合，以确保算法按照预期行事。当然，以上这些机制并没有涵括验证算法是否按预期行事的所有方式，因为可能存在仅在特殊情况下有用的或者其他尚待发掘的方法。

1.透明性

虽然要求广泛地适用算法透明性的提议是有害的，但透明性在某些场景中对于实现算法问责制可以发挥宝贵的作用。所讨论的算法类型和其应用的背景，均在透明性是否可取方面发挥着作用。如前所述，许多依赖机器学习的黑盒子系统对于人类来说过于复杂，甚至对于这些系统的研发者来说，也只是以一种有意义的方式来进行解释。[6]然而，透明性可以让应用者来解释，如何来确保由第三方研发出的复杂度稍弱的算法是按它们的预期运行的。例如，风险评估算法（例如用于通知量刑决策的算法）可能依赖于其评估中的许多不同变量，但是算法是静态的并且相对简单，使得应用者可以轻松评估所涉及的变量并确定它们是否是适当的——以及观察某个数据点如何可能影响风险评估，因为系统是硬编码的，便于为该变量赋予特定的权重。[7]在这些情况下，透明性是一种简单而直接的可行方法，让应用者确认算法是否可以做他们想要做的事情。不同程度的透明性适用于不同的情况。例如，许多缺乏必要专业知识的企业可能会受益于将源代码提供给能够非常熟悉代码审核以识别错误的非公开第三方。

2.可解释性

像透明性一样，可解释性也可以成为实现算法问责制的有用工具——但仅限于某些情况下。从理论上讲，如果算法清楚地解释了如何做出决定，那么确保算法系统按预期行事的最有效和直接的方式，就是针对算法的解释是可验证为正确的。出于这个原因，学习如何让人工智能变得可被解释就成为了一个活跃的研究领域，通常称为“XAI”。[8]

但是，复杂性又是一个限制因素，这其中的原因有两个。首先，考虑到可解释性和准确性之间的折衷，很难以优先考虑解释性而牺牲准确性。其次，研发一个能够自我解释或证明其决策的人工智能系统是一项难以置信并具有挑战性的技术专长，以至于美国国防部高级研究计划局（DARPA）在2017年投入了7500万美元来研究如何实现。[9]

3.置信度

置信度，也称为置信区间，是指示算法在决策或预测中有多少决策信心的度量指标——并且有多种不同的统计技术可供算法用于生成置信度。[10]置信度是一种相对简单的方法用于确保算法按预期行事。例如，如果一家银行要应用人工智能系统来监控和防止欺诈性交易，使用置信度作为不同结果的“门槛”，将确保它不会不必要地阻止合法交易，并允许欺诈性交易。 例如，如果在仔细审查一项交易后，系统只有80％的信心认定该交易是欺诈性的，那么它可能会将案件标记为人工审查而不是自动停止。

4.程序规则性

程序规则性是以相同方式持续应用算法的过程。[11]这可以是确保算法按预期行事的一种有用方法，因为没有能力解释为什么算法会做出一个特定的决定，应用者可以始终如一地应用算法并仔细检查其输出以评估它是否达到了预期的结果。正如CloudFlare的系统工程师Joshua Kroll所描述的那样，对算法进行监督的方式而言，程序规则性是非常有用的，这种方式对密码学也同样适用：

加密技术可以让系统证明其程序规则性——换句话说，在所有情况下都采用了相同的程序，类似于法律中程序正当的概念——即使没有透露程序是什么或如何在特定案例中运作程序。 程序规则性是进一步检验计算机系统行为的重要基础——不知道某个特定系统是否被实际用于做出某种决定（不管该决定是否“随心所欲”地以任意方式进行），去询问系统是否公平或遵守法律这是非常困难的。如果没有直接的证据，从技术的角度来说，要说一个特定的系统是否在没有完全重新计算系统决策的情况下，而在特定的情况下被使用是非常困难的。[12]

（二）应用者能够对算法产生的有害结果进行识别和纠正

仅仅依照程序验证算法是否按预期行事，还不足以确保它不会产生有害结果。因此，算法系统还必须让应用者能够对有害后果进行识别并将其最小化。这是一个非常重要的功能，因为算法如果具备这一功能，那么应用者在使用它的过程中也就应当承担起自身的责任。当然，并不要求算法能让应用者预测或控制算法决策可能导致的每个有害结果——这可能是不可能的，而且这样的要求会严重地限制算法的功用。为了有效地实现将有害后果最小化的目标，算法的应用者可以采行多种机制。这些机制包括但不限于影响评估、错误分析和偏颇测试。重要的是，这些不仅仅是事后控制——应用者能够也应当在开发和使用算法的整个过程中不间断地采用这些方法来监督算法的运行。

1.  影响评估

正如政策制定者使用影响评估去收集某些政策对潜在社会或经济影响的证据一样，组织可以对特定算法进行影响评估。[13]纽约大学的AI Now Institute已经针对在重要公共部门中应用的算法，提出了一个所谓的算法影响评估（AIAs）的初步框架，强调机构可以采取关键步骤来确定潜在危害是何时以及如何产生的，包括通过增加其专业性和能力来有效实施和评估算法系统，并允许第三方公共部门的算法进行审计。[14]影响评估具有高度的背景性，算法在一个领域中可以适用，但在另一领域可能并不有效或不可取。此外，与政策影响评估一样，算法的影响评估既可以是事前预测，侧重于前瞻性分析，也可以事后进行，侧重于连续性和历史性分析。[15]例如，退伍军人事务部可以对心理健康诊断算法进行影响评估以确定是否适合实施，然后经过一年使用后对算法进行另一次评估以确定其有效性;或者住房和城市发展部可以在应用可影响住房决策的新算法之后进行不同的影响分析。[16]特别敏感的应用，例如在刑事司法系统中使用算法，也可能需要连续进行事前评估或定期评估。

2. 错误分析

算法会产生多种错误，包括由于草率编码而导致的粗心错误; 算法中内建缺陷引起的系统误差; 以及源自算法参数，其使用的数据或硬件问题的难以控制的变化的随机误差。[17]然而，错误是可以预料的，它们的存在不应妨碍特定算法的使用，如迭代地改进系统是通过识别和纠正错误来研发机器学习模型的标准方法。[18]

世上存在着各种不同的错误分析技术，包括人工审查、方差分析（涉及分析实际行为和计划行为之间的差异）以及偏颇分析。[19] 偏颇分析提供了对何时、何地以及为什么发生系统性错误的定量评估，以及这些错误的范围。[20]尽管关于算法潜在危害的许多讨论侧重于它们复制人类偏见的能力，例如种族或性别偏见，但统计方面的偏见被定义为错误评估特定参数值的倾向。[21]当然，这可以表现为种族或性别偏见，但只有在涉及种族和性别或这些因素为替代指标的情形下。例如，生成天气预报的算法可能会偏向于预测它会在特定的一天下雨，但极不可能受到种族偏见的影响。重要的是要记住，算法偏差是一个量化问题，可能导致各种不良结果，包括但不限于认知偏见，如种族偏见。

二、算法问责制的实施

如图1所示，在算法问责制的框架下，监管者可以用一种非常简便的方法来评估和惩罚那些违反现行法律法规、产生确应规制的明显危害的算法应用者。[22]重要的是，该标准解释权是开放的；而且当市场力量、社会规范、新技术和其他因素影响了算法决策的使用时，其内涵是可以随时更新的。

当应用者在使用算法中违反了现有的法律法规时，监管者应首先审查应用者能否证明以及能够在多大程度上有效地证明他们有办法确证算法依其意图工作。如果产生了重大损害并且应用者没有相应的办法来确证算法在按其意图工作，或者应用者对满足这一标准存在疏忽或敷衍，那么其将受到较为严厉的处罚。如果这些控制方法是足够的并且得到了适当的运用，监管者就可以判定应用者的行为不存在疏忽或者故意。

此时，监管者可以采取类似的分析方式，审查应用者能否以及能够在多大程度上有效地识别和纠正有害结果。如果应用者未能达到这一标准，监管者就可以认定应用者在尽量减少算法的潜在危害方面是不负责的，并对其施以较重的处罚。

图1：监管者应如何使用算法问责制

应用者和监管者都应该认识到，虽然算法会产生多种不良结果，但其中只有某些类别的结果会产生重大损害，因而需要监管者的监督。例如，约会软件，社交媒体网站和在线购物的普通用户不太可能遭受重大危害，即使这些在线服务不幸的在使用着有缺陷的算法。如果日常情况下算法就给用户配对不佳的约会，推送无聊的链接或推荐不需要的产品，用户将会直接停止使用它们。市场力量可以在鼓励遵守算法问责制方面发挥关键作用，并且可以比监管干预更有效地减轻这些伤害。例如，如果一家公司了解到他们购买的用于筛选求职者的软件表现出了种族偏见，然后共享了这一信息，则其他任何公司都不会购买该软件，因为不仅该软件的筛选结果可能会不准确，而且明智的公司会害怕公众因公司应用已知带有种族偏见的软件而产生的反弹。

在某些情况下市场力量是无声无息的，并可能造成重大损害，政策制定者可能需要对算法问责制提出具体要求。这在刑事司法系统中尤其重要。R Street研究所的技术政策研究员Caleb Watney认为，正如无数法院判例和法定义务所表明的那样，“透明性”这一概念对于司法系统的目标而言是至关重要的，例如《信息自由法案》和其他“阳光”下的法律，就要求所有影响司法决策的算法都是开源的。[23]虽然这种透明性可能并没有更多地揭示先进的机器学习系统是如何工作的，但可能会引发令人注目的公共利益来确保这些算法仍然受到尽可能最严格的审查。同样，政策制定者可能需要授权公共机构对他们打算用于具有高度社会或经济后果的决策算法进行彻底的影响评估，例如权利计划的管理。[24]但是，此类规则均应该是狭义的，并且针对于在特定的情况下算法决策可能导致的可识别的危害。

在某些情况下，如果市场力量减弱或监管不适用，行业自律可能是适当的治理手段。例如，虽然人工智能系统在医疗保健中的应用通常需要获得监管部门的批准，但参与医疗研究的人工智能系统并不一定必须这样做。如果这个系统有缺陷，医生在治疗病人时应用这种错误的研究可能会造成相当大的伤害。但是，这种系统的研究结果将像传统的医学研究一样受到同行评审，因此可以有效确认并防止这种伤害。

通过这个框架来评估应用者，监管者应该能够确定应用者是否疏于防止危害发生。如果监管者发现应用者未能达到这一标准并造成重大损害，则需要采取适当的惩罚性措施。然而，即使应用者守信地实施了明确而彻底的行为，并且尽一切努力来防止能够合理预期到的伤害的发生，但是一个算法决策仍然完全有可能会造成损害。在这种情况下，监管者应该通过衡量算法造成的损害和其产生的益处来确定是否应对应用者进行惩罚。监管者已经允许此类方法来评估危害，并且它应该很容易应用于算法造成的损害。例如，联邦贸易委员会1980年的《反不正当政策声明》指出，如果这种做法对消费者或竞争的好处超过其危害，该机构就不会对不公平的商业行为采取执法行动。[25]这种成本效益分析对于确保组织有能力以创新的方式研发和使用算法是极为重要的。不论应用者是否负责任并善意行事，只要监管者认为算法造成了危害，并超出了其给社会或经济带来所有好处，则需要对其严厉制裁，之后应用者直接停止使用该算法。

重要的是，应用者应该认识到，实现算法问责制有时需要努力识别并纠正有害结果，即使这些结果是合法的。例如，在无人驾驶的Uber汽车于2018年3月撞死一名亚利桑那州的跑步行人之后，对于Uber是否对这起事故负有法律责任产生了诸多争议。[26]无论监管者是否确认Uber汽车遵守了所有交通和安全法规，这很明显仍然是算法决策的不良后果。在这类高风险情况下的算法应用者，应当小心确保其能够向他们的系统提供反馈，认识到合法的死亡，即使那些不会对应用者造成法律影响的死亡，仍然是不好的并应该予以避免。例如，如果发生事故，监管者将评估无人驾驶汽车的应用者是否符合算法问责标准，并求证应用者是否进行了关键性测试以确保其汽车按照预期行驶，并在该应用者可能不应该受到制裁的情况下，负责辨认以及最大限度地减少有害结果。然而，正如Vision Zero所展示的那样，这一结果仍然是整个社会显然想要避免的，这是一项旨在消除法律被动容忍之外的所有交通死亡和伤害的国际举措。[27]为了处理这些可能导致危害的情况，但他们的应用者不一定会违法，监管者可以采用类似的方式进行飞机事故调查：当美国的飞机坠毁时，美国联邦航空管理局和国家运输安全委员会通常会进行调查，并且即使他们没有发现任何违法之处，他们仍然发布报告，详细介绍改善安全环境和避免将来发生类似事故的建议。[28]在这次事故审查之后，应用者将有动力实施这些建议，不仅要建造更安全的车辆，还要表明他们正在负责任地确定和纠正潜在问题导致有害的结果，从而达到算法问责制的标准。

以这种方式强化算法问责制有着巨大的益处。如果应用者知道这个框架存在，他们可以采取主动措施确保他们符合算法问责制的标准，例如修改现有系统以提高透明性，或者停止使用不符合这些标准的算法。同样，这会向研发者发出一个市场信号，告诉客户对算法系统的期望，从而鼓励研发者提供具有必要能力的算法，或面临失去市场份额给那些提供符合标准算法的竞争对手的风险。

同样重要的是，追求算法问责制还涉及到要求透明性，可解释性或其他考虑因素的现有法律应用于相关的算法决策。例如，平等信贷机会法要求债权人为消费者提供信用申请被拒的充分解释，而《公平信用报告法案》要求债权人既向消费者提供信用报告，又调查有关不正确信息的争议，并根据需要进行更正。[29]无论债权人是否在这些流程中使用算法，这些法律都将适用。如果债权人决定使用算法，但无法解释算法为什么拒绝了消费者的信用申请，那么债权人没有达到算法问责标准，并且明显违反了法律。

三、政策制定者的目标

在已受现行法律法规约束的应用领域，政策制定者应促使其遵循算法问责的原则。重要的是，政策制定者必须认识到，算法问责制的目标不是要追求完美无误的算法，而是要将其风险降至最低——正如汽车安全标准不要求汽车具备百分之百的安全性，而仅要求其满足合理的期望值。

当然，最重要的一步是监管机构正式承认算法问责制的框架，并将其应用于监管之中。 它既适用于特定领域的监管，也适用于消费者保护监管。因为，诸如在审查汽车制造商使用算法故意伪造其车辆排放数据，或者航空公司未能阻止他们的机票定价算法在自然灾害期间的过高定价时，同审查制造业领域、医疗保健领域和消费者融资领域中的问题一样，评估算法应用者的恶意和疏忽都是重要的一步。[30]这并不意味着决策者应强行要求所有的算法都必须符合算法问责制的标准，因为算法问责制只规范算法的实际应用以及应用者应如何对违法行为和造成重大损害的行为负责。[31]

政策制定者应毫不含糊地拒绝制定算法治理的一揽子规则或者成立新的只关注算法规制的监管机构。他们应采取多种其他的措施来推行算法问责制，其中包括：

（一）提升监管机构的专业技术水平

对希望将现有监管施加于应用者所负责的算法而言，监管者能够理解算法决策是有必要的。监管者应促进与研发者、学术界、民间社会团体和私营部门组织之间的联系。他们投资算法决策以确保决策能够跟上技术的发展，并关注算法的危害对算法问责制的实现或实施所产生的影响。此外，政策制定者应确保监管者有资源雇用具有必要技术专业知识的人员来审查算法。

（二）投资于致力实现算法问责制的研发活动

在不牺牲准确性的情况下使算法可被解释的技术得到进步，将使得实现算法可解释性变得相当容易，尤其是随着应用者实施日益先进和复杂的人工智能技术。政策制定者应该投入研发工作来支持算法可解释性，例如DARPA的XAI计划。此外，政策制定者应该支持研究有助于实现算法问责制的技术方法，例如可以评估人口统计偏差算法的基准测试系统。最后，政策制定者应该与专业协会合作，支持教育性资料的开发，以帮助应用者理解偏差或其他不良因素可能会如何影响他们的算法，并提供有关如何实施不同控制措施（如置信度或程序规则性）来消除影响。

（三）应对特定行业的监管问题

政策制定者应该评估这个算法问责框架如何有效地解决不同行业的潜在危害，并考虑在适当的情况下实施针对具体领域的算法问责标准。例如，可能有必要要求刑事司法系统在其采购政策中规定，涉及司法决策的任何算法必须是开源的。此外，应使用算法的公共部门机构应考虑到其决策的重大社会或经济后果，对这些算法进行彻底和持续的影响评估，并可能向公众披露此信息。

与之相应地，政策制定者应该明确指出，现有的法律和监管框架仍然适用于算法，就像它们对人类所做的一样。

四、结论

一些研究机构或研究者试图阐明算法问责制的内涵——而且许多人都表达了自己的观点。但是，这些定义通常缺乏特定性，或者没能有效地阐明如何在实践中规范算法决策。随着经济和社会越来越依赖算法进行一些不重要的或重要的决策，政策制定者们应该仔细地考量算法的潜在益处，以避免决策出错并带来负面影响。与许多要求政策制定者采取行动和规制算法的呼吁不同，本文中的算法问责框架为算法用户和监管者提供了明确的规则，可以同时最大化算法决策的益处，并有针对性地防范有害结果。

相关介绍

关于作者

Joshua New是数据创新中心的一名政策分析师。他具有政府事务、公共政策和通信领域的相关背景。New毕业于美利坚大学，获得了C.L.E.G. （通信、法律机构、经济学和政府）学位和公共通信的学位。

Daniel Castro是数据创新中心主任和信息技术与创新基金会副总裁。他拥有乔治城大学外交事务学院的理学学士学位和卡内基梅隆大学信息安全技术和管理学院的理学硕士学位。

关于数据创新中心

数据创新中心是一家全球领先的智库，专注于研究数据、技术和公共政策交叉领域的相关问题。工作人员的办公地点在华盛顿特区和布鲁塞尔，他们提出并推广务实的公共政策，推动公共和私营部门中以数据驱动的创新取得最大化的效益。中心致力于向决策制定者和公众阐明与数据相关的机遇和挑战，以及有关技术发展趋势的知识，诸如预测分析、开放数据、云计算和物联网等。中心是一个非盈利的、无党派的研究机构，隶属于信息技术与创新基金会。