如何面对AI存在的风险

拥有能力的同时也被赋予了重大的责任。企业可以通过遵循三个原则来减轻应用人工智能和增强分析的风险。

事实证明，人工智能被证明是一把双刃剑。虽然这对大多数新技术可以这么说，但人工智能的两面都要锐利得多，而且两者都不为人所知。

首先考虑积极因素。从简化购物到增强医疗保健体验，这些技术正开始以无数种方式改善我们的生活。他们对企业的价值也已变得不可否认：正在部署AI的公司中，近80％的高管告诉我们，他们已经从中看到了中等价值。尽管AI在商业中的广泛使用仍处于起步阶段，并且关于进展的速度以及实现“通用智能”这一圣杯的可能性仍存在疑问，但潜力是巨大的。麦肯锡全球研究所的研究表明，到2030年，人工智能每年可以为全球带来13万亿美元的额外经济产出。

然而，尽管人工智能产生了消费者利益和商业价值，但它也产生了许多不必要的、有时甚至是严重的后果。当我们在本文中关注人工智能时，这些连锁反应（以及防止或减轻它们的方法）同样适用于所有增强分析。最明显的问题，包括侵犯隐私、歧视、事故和操纵政治制度，足以引起人们的警惕。更令人关注的是尚未知道或经历的后果。灾难性的后果包括人命损失，如果人工智能医疗算法出错，或者国家安全受损，如果对手向军事人工智能系统提供虚假信息是可能的，对组织来说，从声誉损害、收入损失到监管反弹等重大挑战也是可能的，刑事调查，公众信任度下降。

由于人工智能是一种相对新的商业推动力，因此很少有领导者有机会磨练自己对社会、组织和个人风险的全面的直觉，或者提升其相关的实践知识，这些知识包括所为AI提供的数据，以运行算法模型以及人与机之间的交互。结果，高管们常常忽略了潜在的风险（“We’re not using AI in anything thatcould ‘blow up，’ like self-driving cars”）或高估了组织的风险缓解能力（“我们已经进行了很长时间的分析，因此我们已经有了正确的控制措施，并且我们的做法与行业同行的做法是一致的”）。领导者通常会与IT和分析组织的专家所拥有的其他人一起承担AI的风险（“我相信我的技术团队，他们正在尽一切可能保护我们的客户和我们的公司”）。

希望避免或至少减轻意外后果的领导者既需要建立他们对人工智能风险的模式识别技能，也需要让整个组织参与进来，以便它准备好接受与人工智能相关的权力和责任。识别和控制所有关键风险所需的能力水平大大超过了大多数组织中的现行规范。要取得真正的进展，就需要采取多学科的方法，包括高管和整个公司的领导；法律和风险、IT、安全和分析等领域的专家；以及能够确保在生产一线保持风险意识的管理人员。

本文试图通过首先说明一系列容易忽视的风险来提供帮助。然后，它提出了一些框架，这些框架将帮助领导者识别最大的风险，并规避这些风险所需的精细控制的广度和深度。最后，它简要介绍了当前正在通过应用这些方法来解决AI风险的一些实际工作。

在继续之前，我们想强调的是，我们在这里的重点是一阶后果，这些后果直接来自人工智能解决方案的开发、它们的无意或有意误用，或对输入的数据进行了不正确的处理。还有其他一些后果，其中一个后果是，由人工智能驱动的工作场所自动化，使一些行业普遍存在失业的可能性。随着人工智能系统重要性的增加，也有二阶效应，如技能萎缩（例如，医学专业人员的诊断技能）。这些后果将继续受到关注，因为它们的重要性日益增加，但超出了我们在这里的范围。

了解风险及其驱动因素

当人工智能出了问题，问题的根源暴露出来时，常常会有很多人摇头。事后看来，似乎无法想象没有人看到它的到来。但是，如果你就下一个可能出现的人工智能风险，对有地位的高管进行民意调查，你就不太可能达成任何共识。

领导者希望将其姿态从事后转变为前瞻性，需要更好地了解他们所承担的风险类型、相互依赖性以及潜在原因。为了帮助建立这种缺失的直觉，我们描述了以下五个可能导致人工智能风险的痛点。前三个是数据困难、技术问题和安全问题，可能与人工智能的使能技术有关。最后两个是与算法和人机交互联系在一起的，它们是实施人工智能的核心。显然，我们还处于了解我们所承担的风险背后的原因的早期阶段，我们还试图对其性质和范围进行分类。

数据的挑战

随着从Web、社交媒体、移动设备、传感器和物联网等来源摄取的非结构化数据数量的增加，获取、排序、链接和正确使用这些数据变得越来越困难。因此，很容易成为风险。比如无意中使用或泄露隐藏在匿名数据中的敏感信息。例如，虽然一个病人的名字可以从人工智能系统使用的病历的一个部分进行编辑，但它可以出现在病历的“医生注释”部分。这些考虑因素对于领导者在遵守隐私规则（如欧盟通用数据保护条例（GDPR）或加州消费者隐私法（CCPA））以及管理声誉风险方面的工作非常重要。

技术的挑战

整个运营环境中的技术和流程问题可能会对AI系统的性能产生负面影响。例如，一家大型金融机构的合规软件未能发现交易问题，因为数据源不再包括所有客户交易，因而陷入困境。

安全的挑战

另一个出现的新问题是，欺诈者可能利用公司收集的看似不敏感的营销、健康和财务数据来为人工智能系统提供燃料。如果安全防范措施不充分，则有可能将这些数据整合在一起以创建假身份。尽管目标公司（在保护个人身份信息方面可能非常有效）是不知情的共犯，但它们仍可能受到消费者的强烈反对和监管方面的影响。

异常行为模式

AI模型本身会在交付有偏见的结果时产生问题（例如，用于训练模型的样本数据不足），变得不稳定，它们会产生问题，或者得出结论，对于那些受其决定影响的人来说，没有可溯的依据（例如，某人在不知道该怎么做才能拒绝该决定的情况下拒绝了贷款）。例如，考虑人工智能模型通过将邮政编码和收入数据联系在一起以创建有针对性的产品，无意中会产生歧视的可能。当人工智能模型嵌入在软件即服务（SaaS）产品中时，很难被发现。当供应商推出新的智能功能（通常很少大张扬）时，他们还将推出可与用户系统中的数据进行交互的模型，从而产生意料之外的风险，包括引起黑客可能利用的隐患。言下之意是，那些认为自己清楚自己所在组织是否购买或构建了人工智能系统，或者只是在试验部署的领导人，很可能会犯错。

交互的问题

人机界面是另一个关键的风险领域。其中最明显的挑战是自动化运输、制造和基础设施系统。如果重型设备，车辆或其他机械的操作员无法识别何时应该否决AI系统或由于操作员的注意力在其他地方而太慢而无法否决AI系统，则可能会造成事故和伤害，这在自动驾驶汽车等应用中是很可能的。相反，人为判断也可能在否定AI系统的结果方面有缺陷。在后台，在数据分析组织中，脚本编写错误、数据管理失误和训练模型的数据中的错误判断很容易损害公平性、隐私性、安全性和合规性。一线人员也可能会无意中做出贡献，因为当销售人员更擅长向某些特定人群进行销售时，会不经意地训练一个由AI驱动的销售工具，以排除某些客户群体。这些只是意想不到的后果。如果没有严格的保护措施，不满的员工或外部敌人可能会破坏算法或以不正当的方式使用人工智能应用程序。

人工智能风险管理：三大核心原则

除了了解未来所遇到的挑战外，上述示例和分类对于识别风险及其根源，并确定其优先级也很有用。如果您了解潜在的潜伏，误解或根本无法识别的风险，则在风险赶上您之前，您就有更大的机会抓住它们。

但是，您需要在整个企业范围内做出集中努力，从分类风险、转移到根除风险。两家领先银行的经验有助于说明所需的清晰度、广度和细致的严谨性。第一家是欧洲公司，一直致力于将增强分析和人工智能功能应用于优化呼叫中心、抵押贷款决策、客户关系管理和资产管理计划。第二个是全球领导者，寻求将机器学习模型应用于其客户信贷决策。

这些银行与金融服务领域的许多其他银行一样，多年来一直在使用某种形式的增强分析，其最早可用于信用卡欺诈检测和股票交易。他们还受到高度的监管监督，因此长期以来一直在应用和透明化各种协议和控制措施以减轻相关风险，包括网络安全风险，鉴于其资产对攻击者的吸引力，他们经常处于前线。

尽管如此，这些银行的故事仅说明了组织应考虑的特定风险控制措施的一部分。图表2提供了一个更完整的潜在控制列表，涵盖了从计划到开发再到后续使用和监视的整个分析过程。我们希望将这些工具和示例放在一起，可以帮助必须面对各种问题的领导者-从避免推荐引擎偏见到消除个人身份风险，再到根据特定需求更好地定制客户服务机器人以响应客户，还有更多。

清晰度：使用结构化的识别方法来找出最关键的风险

这家欧洲银行的首席运营官首先召集业务、IT、安全和风险管理方面的领导者，以评估并确定其最大风险的优先级。该练习的输入内容包括对公司现有风险的清晰了解，以及正在考虑的AI驱动的分析工作如何加剧这些风险，以及AI支持者或AI本身可能造成的新的风险。有些很明显，但有些则不然。意外地排在榜首的是向消费者提供的不良或偏颇的产品推荐。这些有缺陷的建议可能会导致大量伤害和损害，包括消费者损失，强烈反对和监管罚款。

银行领导者通过这种结构化的风险识别流程所取得的成就是，对最令人担忧的情况进行了澄清，识别缺失的控制措施并相应地安排时间和资源。从而使他们能够对所包含的风险进行优先级排序。这些情况和优先级风险自然会因行业和公司而异。食品制造商可能会优先考虑受污染产品。软件开发人员可能特别关注软件代码的公开。医疗保健组织可能会将重点放在患者误诊或无意对患者造成伤害等问题上。使管理人员的各个部门专注于查明和界定有问题的场景，是一种激发创造力并降低狭窄的专家或一时的想法会错过主要漏洞的风险的好方法。组织不必为此付出一切从头开始：在过去的几年中，风险识别已成为一种成熟的技术，可以将其直接部署在AI的相关领域中。

广度：制定健全的企业控制措施

增强你对预防风险的思考只是一个开始。同样重要的是应用公司范围内的措施来指导AI系统的开发和使用，确保适当的监督并制定强有力的政策、程序、人员培训和应急计划。如果没有广泛的努力，风险因素（如先前所述的风险因素）将难以克服。

考虑到产品推荐不当或偏向可能带来的风险，这家欧洲银行开始采用一套稳健的业务原则，旨在详细说明如何以及在何处使用机器进行影响客户财务状况的决策。经理们确定了在将建议交付给客户之前，某个人（例如，客户关系经理或信贷员）需要“参与其中”的情况。这些工作人员将提供一个安全网，以识别客户是否有特殊情况，例如家庭成员死亡或财务困难时，是否有可能提出不合时宜或不适当建议的特殊情况。

该银行的监督委员会还进行了差距分析，确定了该银行现有风险管理框架中需要深化，重新定义或扩展的领域。目前，世行全面一致的治理现在可以确保正确定义政策和程序，对AI模型的特定控制，指导模型开发，职责分工和适当监督的核心原则（在工具的支持下）。例如，模型开发工具可确保数据科学家在整个开发生命周期中始终记录模型代码，训练数据和选择的参数。还采用了用于解释性，模型性能报告以及生产中数据和模型监视的标准库。这个治理框架对于内部AI开发工作以及评估和监管第三方AI工具（例如银行采用的SaaS欺诈模型）都是非常宝贵的。

此外，银行政策现在要求所有利益相关者，包括发起业务的高管，都要进行方案规划并创建后备计划，以防AI模型的性能出现偏差，数据输入发生意外变化或突然发生变化（例如自然灾害）的外部环境。这些后备计划包括在银行的常规风险审查流程中，使董事会的风险委员会可以了解为减轻分析驱动和与AI相关的风险而采取的步骤。

在银行减轻风险的工作中，人员培训的意识也很重要。会与所有受影响的员工进行全面沟通，他们都会收到有关在哪里使用AI；银行正在采取哪些步骤来确保公平、准确的决策并保护客户数据；以及银行的治理框架，自动化技术和开发工具如何协同工作。此外，业务发起人，风险团队和分析人员还将接受有针对性的培训，以了解他们在识别和最小化风险中的作用。例如，业务发起人要对模型行为进行解释，提供关于他们正在使用该模型来提供有关模型背后的业务假设的反馈。同时，风险团队已经就如何更好地识别和减轻法律和法规合规性问题进行了培训，例如，对受保护群体的潜在歧视或对GDPR的遵守。

监视AI驱动的分析是一项持续的工作，而不是一项一劳永逸的活动。因此，银行的监督小组，包括董事会的风险委员会，会定期审查该计划，以掌握因监管变更、行业转变、法律解释（例如新兴的GDPR判例法）而可能出现的新风险，不断变化的消费者期望以及快速更新的技术。

细微差别：根据风险的性质加强特定的控制

尽管由于企业范围内的严格控制很重要，因此它们几乎不足以抵消每种可能的风险。通常需要另一级别的严格性和细微差别，并且必要的控制将取决于各种因素，例如算法的复杂性，其数据要求，人机交互（或机器与机器交互）的性质。以及将AI嵌入业务流程的程度。有时需要从用例章程开始的概念控制。包括透明度要求在内的特定数据和分析控件以及用于反馈和监控的控件（例如用于检测降级或偏差的性能分析）也是如此。

我们的第二个示例为细微差别控件的应用提供了宝贵的启示。该机构想要了解机器学习模型如何准确地针对特定的面向客户的流程做出决策。在仔细考虑了透明性要求之后，该机构决定通过限制其使用的机器学习算法的类型来降低风险。禁止过于复杂和不透明的某些模型形式使该机构能够在舒适的环境中取得平衡。失去了一些预测能力，这付出了经济成本。但是，所使用模型的透明性使员工对其决策具有更高的信心。较简单的模型还使检查数据和模型本身更加容易，以发现可能由于用户行为或数据变量或其排名变化而产生的偏差。

如该示例所示，组织将需要整合对于风险的控制，并且通过创建协议以确保在整个AI开发过程中到位并遵循这些协议，可以最好地实现它们。在我们的示例中，这些机构至少部分地通过其现有的风险基础架构实施了这些协议以及企业范围的控制。缺乏集中风险组织的公司仍可以使用强大的风险管理流程来使这些AI风险管理技术发挥作用。

关于AI的组织、个人和社会所面临的潜在风险，还有很多要学习的知识。关于创新与风险之间的应适当平衡；以及关于控制难以预料和管理的地方。到目前为止，舆论和监管反应已经相对缓和了。

但是，如果更多的组织陷入困境，这可能会有所改变。随着与AI相关的风险成本的上升，评估这些风险以及使各级员工参与定义和实施控制的能力将成为企业新的竞争优势。对许多组织而言，是对“客户体验”的重新概念化，以涵盖了AI驱动成果的承诺以及陷阱。另一个当务之急，是就应对应用AI的道德规范和限制使用AI的界限进行认真的辩论。集体行动也可能会越来越重要，集体行动可能涉及有关自我监管和与监管机构接触的行业层面的辩论。培养这些能力的组织将能更有效地为其客户和社会提供服务，并避免在道德、业务、声誉和监管方面的困境，并能避免可能导致组织崩溃的潜在生存危机。