新加坡AI治理测试框架和工具包：AI Verify

支柱

原则

评估方法

人工智能和人工智能系统使用的透明度：
这一支柱是向个人披露人工智能在技术系统中的使用情况，以便他们能够了解并就是否使用人工智能系统做出明智的选择。

透明度：
向受人工智能系统影响的个人提供适当的信息。

通过文件证据（例如公司政策和沟通材料）的流程检查进行评估，为可能受人工智能系统影响的个人提供适当的信息。
 
这些信息包括（根据避免损害知识产权、安全性和系统完整性的需要）：系统中人工智能的使用、其预期用途、限制和风险评估。

了解人工智能模型如何做出决策：
这一支柱是让个人了解影响人工智能模型输出的因素，同时确保类似条件下输出的一致性和准确性。 

可解释性：
理解和解释人工智能系统的决策和输出。

通过技术测试和过程检查相结合的方式进行评估。
 
技术测试是为了确定影响人工智能模型输出的因素。
 
流程检查包括验证模型选择考虑因素的书面证据，例如人工智能模型的基本原理、风险评估和权衡。

可重复性/再现性：

通过内部或第三方复制人工智能系统，确保人工智能输出的一致性。

通过文件证据的流程检查进行评估，包括人工智能模型来源、数据来源和版本控制工具使用的证据。

确保人工智能系统的安全性和弹性：
该支柱旨在帮助个人了解人工智能系统不会造成伤害，是可靠的，并且即使遇到意外输入也会按照其预期目的执行。

安全：
通过进行影响/风险评估来确保安全，并确保已知风险已被识别/减轻。

通过对重要性评估和风险评估的文件证据进行流程检查进行评估，包括如何识别和减轻人工智能系统的已知风险。

安全：
确保人工智能系统的网络安全。

目前不适用

鲁棒性：
确保人工智能系统在意外输入的情况下仍能正常运行。

通过技术测试和过程检查相结合的方式进行评估。
 
技术测试试图评估模型即使在提供意外输入的情况下是否仍按预期运行。
 
流程检查包括验证文件证据、审查可能影响人工智能模型性能的因素，包括对抗性攻击。

确保公平：
这一支柱是评估用于训练人工智能模型的数据是否具有足够的代表性，并进行测试以确保人工智能系统不会无意中产生歧视。 

公平性：
避免无意识的偏差，确保即使某个属性发生改变，AI系统也会做出相同的决定，并确保用于训练模型的数据具有代表性。

通过技术测试和流程检查相结合来评估无意歧视的缓解情况。
 
技术测试通过根据地面事实检查模型输出，检查 AI 模型是否不会根据系统所有者指定的受保护或敏感属性产生有偏差的结果。
 
流程检查包括验证书面证据，证明存在选择与人工智能系统预期应用的预期结果相一致的公平指标的策略；敏感属性的定义符合立法和企业价值观。

数据治理：
在训练人工智能模型时采用良好的数据治理实践，确保数据的来源和质量。

目前不适用

确保对人工智能系统进行适当的（人类）管理和监督：
该支柱是评估人工智能系统开发和/或部署中的人类责任和控制，以及人工智能系统是否旨在为整个社会带来有益的目的。 

问责制：
确保人工智能系统开发过程中适当的管理监督。

通过文件证据的流程检查进行评估，包括用于适当管理和监督人工智能系统开发和部署的明确内部治理机制的证据。

人类代理和监督：
确保人工智能系统的设计方式不会削弱人类的决策能力。

通过对文件证据进行流程检查来评估人工智能系统的设计方式不会降低人类做出决策或控制系统的能力。这包括定义人类在人工智能系统监督和控制中的角色，例如人在环、人在环或人在环外。

包容性增长、社会和环境福祉：
确保为人类和地球带来有益成果。 

目前不适用