通过自适应治理扩展AI

即使对人工智能只有粗略了解的领导者也知道，这项技术虽能帮助提高生产力和抓住新机遇，但也可能使组织面临诸多风险。 知识更丰富的领导者则意识到，发现并缓解这些风险需要采用负责任的人工智能实践。而在组织内扩展人工智能应用的领导者会很快发现，临时应对这些实践是不够的，他们需要培养系统性地大规模治理人工智能的能力。

但事实证明，建立这种能力比大多数高管预期的要困难得多。他们知道需要实现什么目标；政府和监管机构的框架定义了重要的护栏和原则，如透明度、公平性和问责制。1 但要将控制和原则落实到日常流程和决策中，组织必须重新思考人工智能治理。他们不应将此视为合规义务，而应将其视为一种战略性的、适应性的能力，随着人工智能系统扩展、用例增加和风险随时间变化而演进。

在本文中，我们将分享领先组织如何做到这一点。我们还将介绍一种基于两个原则的适应性人工智能治理方法：将治理控制与人工智能系统类型及涉及风险相匹配，并将这些控制直接嵌入工作流程、决策权和问责结构中。

人工智能风险基础

要设计有效的人工智能治理，领导者必须首先理解人工智能可能失败的多种方式及相应风险。这些风险的性质和严重程度取决于系统类型、自主性水平以及受其决策影响的领域范围。因此，核心挑战在于设计能够预测风险如何出现并随人工智能系统运行而演变的控制措施。即使条件、输入和期望发生变化，人工智能也必须保持可靠、安全，并与组织的价值观和目标保持一致。

在实践中，大多数人工智能风险出现在两个需要截然不同治理应对的时刻：开发阶段和部署之后。开发风险包括使用有偏见或不完整的训练数据、未能使模型充分符合任务要求，以及遵循不充分的验证流程。例如，我们研究的一家银行的早期信用额度提升模型表明，微小的输入变化可能导致意想不到的决策转变。

部署风险出现在模型与动态环境和人类操作员交互时：一旦人工智能系统在实时大规模运行中，维持其合法性、判断力和问责制是一个核心挑战。随着时间的推移，模型质量可能会下降，因为输入数据的统计特性会随时间变化，这种现象被称为 数据漂移。模型可能生成看似合理但虚假的输出，或者被缺乏检测错误手段的用户过度信任。在纳斯达克，人工智能驱动的市场监控系统监测交易活动中的可疑模式，每秒生成数百条警报。然而，这些系统可能无法准确标记活动，因为异常行为与非法行为之间的界限往往难以识别；非法行为可能通过利用模型学习模式，被故意设计成看似合规。

适用性控制

所采用的控制类型不仅取决于风险在人工智能生命周期中出现的时间，还取决于所涉及的人工智能系统类型及其决策传播的广泛程度。人工智能系统大致可分为两类：基于有限学习（或静态）模型的系统，以及在部署中学习和适应的系统。（参见“自适应人工智能治理系统中的控制”。）

有限学习系统在固定的规则和参数集内运行。优化 如何 这些规则的应用方式，而非改变规则本身，是提升其性能的关键。例如，信用评分模型根据收入或还款历史优化风险评估，但不会改变这些变量之间的相互关系。许多生成式人工智能模型是“预训练”（静态）的，在使用过程中不会更新。这与自适应学习系统形成对比，后者通过将生产数据纳入训练数据，并更新内部表示及变量间关系来进化。算法交易平台和动态欺诈检测系统体现了这种方法。

与所需控制类型同样重要的是受人工智能决策影响的领域范围，如图“自适应人工智能治理系统中的控制”的纵轴所示。这一维度决定了系统出错时风险传播的距离和速度。一端是窄范围系统，其错误局限于特定功能或任务（例如，在单个交易流中检测异常）。另一端是宽范围系统，其影响跨越多个职能、地区甚至行业，例如跨境供应链优化平台。差异不是渐进的，而是指数级的：随着系统范围扩大，小错误会相互作用、传播并放大为二阶效应。

基于我们对人工智能系统的分类，我们认为基于规则的控制为所有狭窄的静态人工智能系统提供了基线保障。当此类静态系统在更广范围内运行时，必须叠加额外的传播风险控制，以应对更广泛的下游影响。

对于自适应学习系统，基线保障仍然必要，但必须辅以事后对齐控制，特别是那些侧重于可解释性和合法性的控制。当自适应系统也具有广泛范围时，它们需要最全面的方法：集成控制，结合基线基于规则的措施、传播风险管理和对齐机制。让我们仔细看看每种方法在实践中如何运作。

基于规则的控制

基于规则的控制旨在预防和纠正运行在明确定义参数内的系统中的错误。它们在逻辑明确且结果可审计的狭窄决策领域特别有效，例如信用评分、欺诈检测或客户服务聊天机器人的使用。基于规则的控制将相关规范（如道德准则和行业标准）及合规要求嵌入模型，作为设计约束。基于规则的控制还包括验证测试或异常监控等流程。

考虑前面提到的信用额度提升决策模型。该银行的一位高级人工智能负责人解释说，它使用统计模型而非深度学习，以便决策保持可解释性。在部署新模型之前，分析团队会生成一份名为模型卡的文件，涵盖人工智能风险管理的三个方面。首先，数据检查表明训练数据是否完整、最新且平衡，以及团队如何随时间检测数据漂移。接下来，检查决策逻辑和边缘情况，以了解分数如何转化为批准/拒绝决策；这包括对阈值进行明确分析，即客户从无提升到有提升的临界点，以确保“灰色地带”的客户不受不公平对待。最后，进行偏见和歧视测试，以检查模型是否过度拟合特定客户档案或系统性地对某些群体不利。

模型卡需经过独立模型风险部门的质量保证审查，并听取信用领域和监管专家的意见。内部审计随后验证这些步骤是否得到遵循。只有在此之后，模型才能上线。

即使在基于规则的环境中，人类判断也至关重要。在一个组织中，每个面向中端市场客户的新贷款模型在部署前都需进行样本测试。风险团队选择100个现有客户档案，并通过模型运行。客户关系经理随后将模型推荐的贷款决策与自己的评估进行比较。在推荐出现分歧的地方，模型团队会调查模型是发现了真正的洞察，还是过度拟合了数据中的特性。只有当样本审查显示模型输出与相关领域专家的判断达到可接受的一致水平，并且分歧来源得到理解时，银行才批准模型用于实际使用。上线后，定期样本审查作为标准风险和控制周期的一部分继续进行。

基于规则的控制之所以有效，是因为它们使关键决策边界在各个领域变得明确、可审查且可争议。它们是自适应的，因为可以随时间重新校准。模型输出与专家判断之间的差异被视为学习信号，随着数据、模型和决策背景的演变，反馈到更新的模型阈值、假设和审查例程中。

事后对齐

先进人工智能系统（尤其是基于深度神经网络的系统）的复杂性，使得传统的可追溯性和可解释性方法效果降低。基于规则的控制依赖于指定决策逻辑的能力，然而随着模型变得越来越复杂，这种逻辑变得越来越不透明。因此，利益相关者必须确保结果保持可靠、公平，并与组织和监管期望保持一致。当此类系统以显著自主性运行时，这种对可解释性的需求变得尤为关键，因为决策可能在未经人工即时审查的情况下做出并执行。生成式人工智能由于其随机行为（相同的提示可能产生不同的输出）而增加了额外的难度。

这就是事后对齐控制发挥作用的地方。它们揭示的不是决策是如何做出的，而是其结果是否仍然合法。它们根据道德、监管和领域特定标准评估人工智能决策。虽然一些技术源自基于规则的方法，但重点从预先防止错误转向在系统运行、学习和扩展时检测失调。

组织通过分层评估流程来实施事后对齐，这些流程根据参考期望测试结果。例如，微软开发了一个结构化的评估管道，其中高风险模型根据专家定义的政策库进行评估——例如什么是“公平”或“可接受”的结果。评估人员根据这些政策对模型输出进行注释，而独立审查员则验证系统不足之处。在某些情况下，这些评估可以部分自动化——例如，当人工智能系统持续根据预定义的政策基准、公平性约束或风险阈值进行评估时，自动监控器会标记偏差以供人工审查。

这就是为什么算法审计是事后对齐的关键组成部分。在模型部署后，其行为会被系统性地检查，以发现隐藏风险，评估受影响群体的公平性和性能，并验证结果是否符合组织政策和道德标准。审计分两步进行。首先，审计人员识别可能的失败场景，并定义完整的用例，包括系统服务于谁、谁受其决策影响以及其运行目的。然后，他们通过根据预定义标准评估决策输出、输入数据和内部逻辑来监控这些风险。这一过程帮助组织发现意外后果，如差异性影响；记录重复出现的风险模式；并在危害扩散前触发纠正措施。用于审计算法风险的框架，例如凯西·奥尼尔关于审计人工智能系统的著作中阐述的框架，提供了实用工具和指标来实施这种方法并加强问责制。2 通过这种方式，审计既充当诊断机制，又作为持续改进的基础。

事后对齐的一个关键部分是确保人们不将人工智能输出视为不容置疑的真理。由于许多人工智能建议本质上是概率性的，组织需要培训用户将其解释为知情信号而非最终决策。帮助管理者理解何时依赖系统、何时质疑系统，以及如何发现意外或有偏见的输出，对于确保人工智能的使用长期保持合法、负责并与组织价值观一致至关重要。

大规模管理失调可能是一个特别的挑战，尤其是对于旨在实时过滤、优先排序和升级警报的系统。例如，纳斯达克的人工智能驱动市场监控系统监测交易活动中的异常情况——如异常交易量、价格异常或潜在操纵——并每秒可生成数百条高风险警报。由合规官、数据科学家和领域专家组成的跨职能团队通过结构化案例工作流程审查被标记的活动。每条警报都经过评估，以确定其反映的是真正的市场操纵，还是由异常但合法的交易行为触发的误报。调查人员记录其结论的理由，这些结果反馈给模型开发人员，以重新校准阈值、优化检测特征，并减少未来警报中的重复噪音。

当调查表明存在协调不良行为者或异常情况表明更广泛的系统性风险时，升级委员会会进行干预。审计跟踪捕获此过程的关键要素，包括原始警报、支持数据信号、做出的人工决策以及任何后续模型调整。定期进行治理审查，以评估误报和漏报的模式，确保问责制、监管合规性以及监控规则的持续改进。即便如此，警报量的激增可能给团队带来巨大压力，压倒响应能力并增加错误风险。

管理大量警报影响的一个有效方法是围绕人工智能输出重新设计工作流程。一家全球银行在人工智能驱动的欺诈检测方面的经验很好地说明了这一点。高管们发现，主要挑战并非源于模型预测的错误，而是源于欺诈警报在团队间解释、路由和处理的故障。合规、风险和一线员工之间的不一致交接常常导致响应延迟、重复工作或后续跟进遗漏，尽管输出在技术上合理，却削弱了系统的有效性。例如，警报有时被路由到错误的团队，在各部门间重复，或因没有团队明确负责下一步而悬而未决。客服人员偶尔会根据欺诈团队尚未验证的警报联系客户，而高风险案件则因升级标准不明确而被延迟。

为了解决这些问题，银行逐步绘制了警报工作流程，并在每个决策点重新分配了职责。欺诈分析师被赋予更明确的权限来关闭低置信度警报，欺诈运营部门专注于快速升级已确认的案件，而客服团队则在欺诈审查确定有必要进行外联后才介入。决策规则被标准化——例如，何时应抑制警报、进一步调查或升级——从而减少了延迟、不必要的升级和警报过载。

事后对齐侧重于在AI决策做出后对其进行评估，通过对照伦理、监管和特定领域的期望来检验结果，而非重构内部决策逻辑。最终，成功的事后对齐并不能消除风险；它通过确保高自主性AI的结果始终可质疑、可纠正，并与长期重要的标准保持一致，来维持其合法性。与传统风险管理不同，事后对齐接受某种程度的错位是不可避免的——并将治理重点放在检测、可质疑性和纠正上，而非仅仅预防。

传播风险控制

基于规则的控制和事后对齐机制有一个共同的局限性：它们倾向于将风险视为大体上可控的，专注于离散的错误或单个输出。当AI系统在相对隔离的环境中运行时，这种方法可能有效，但当系统通过实时数据流、API和自动化决策相互连接时，它会产生不完整的结果。自主AI的兴起就是一个例证。随着AI系统越来越自主地发起行动、与其他系统协调，并在多个领域追求目标，源自一个系统的错误或错位可能会传播到其他系统。因此，相关的关注点是相互依赖性和传播风险，这些风险可能产生传统以输出为中心的控制可能忽视的下游影响。

监管机构越来越认识到传播风险的重要性以及进行稳健测试和监督的必要性。例如，英国央行强调了“深度交易代理”带来的风险——这些AI驱动的策略可能放大外部冲击，或以逃避人类检测的方式进行协调。在医疗保健领域，有偏见的诊断模型可能会将有缺陷的启发式方法传播到医院和保险公司之间。在供应链中，算法采购平台可能会将定价错误放大到整个供应商网络。类似的动态可能出现在任何数字互联系统中。

传播风险控制代表了治理的第三层，旨在揭示二阶及更高阶的影响，防止它们压垮下游功能。在我们的框架中，基于规则的控制保护狭窄且相对静态的过程，对齐机制处理决策不透明的复杂系统，而传播控制则关注互联系统。这些控制不仅关心系统内部发生什么，还关心系统交互时会发生什么。它们的核心挑战是不可见性：故障横向传播，利用隐藏的相互依赖性，这些依赖性通常只有在发生中断时才会显现。例如，一个微小的物流API错误在孤立情况下可能无害，但当它与影响支付网关的网络事件结合时，就可能导致系统性崩溃。

一个围绕以公司为中心的风险观构建的治理框架，很难追踪这种跨边界的动态。由于传播风险在互联系统中展开，通常超出任何单一组织的可见性或控制范围，管理它们需要从以公司为中心的视角转向生态系统感知的视角。

这种转变涉及三项互补活动：绘制相互依赖性地图、监控共享基础设施，以及将前瞻性监督制度化。这些实践共同有助于揭示那些当控制只关注孤立系统或单个输出时仍然不可见的风险。欧洲央行的行业范围网络弹性压力测试展示了如何实施生态系统层面的传播风险控制。这些演练绘制了清算所、支付系统和金融机构之间的相互依赖性；监控共享基础设施以发现跨组织漏洞；并模拟局部中断如何通过金融系统级联。这些实践可以推广到任何高度互联的环境中，而不仅仅是监管领域。

组织可以通过在生态系统中重新分配可见性、问责制和决策权，而不是仅仅依赖组织层面的规则或事后干预，来实施传播风险控制。由于传播风险本质上是跨边界的，有效的治理既取决于组织间的协调，也取决于内部的控制。一些组织必须转变其文化规范，以鼓励与合作伙伴、竞争对手、监管机构，以及在某些情况下与开源社区共享数据、协调标准并共同投资于监督基础设施。3 减少传播风险需要理解：韧性不再是公司可以独自实现的东西，而是其依赖的更广泛系统的一个属性。

随着生态系统变得更加紧密互联，这些风险可能会加剧。自主AI的兴起——能够自主发起交易、谈判合同或在网络中重新分配资源——扩展了这一逻辑，增加了故障传播的速度和范围。在金融、物流和医疗保健领域，错误可能不仅会传播；而且可能会在人类监督有限的情况下越来越多地发生。

实施自适应AI治理

一旦领导者识别出对其组织重要的AI风险以及需要建立相应的控制措施，挑战就在于将这些控制措施整合到流程和系统中，在其中运作并持续调整它们。这样做涉及三个关键实践：将控制嵌入工作流程和激励机制，建立跨领域流畅性，以及将治理制度化为一个活的学习系统。以下是具体做法。

1. 将风险控制协议嵌入运营中。 风险协议必须被设计并硬编码到工作流程、问责结构和激励机制中。监督应直接流入规划、审计和领导层审查，而不是作为一个独立的合规层存在。只有当治理成为运营结构的一部分时，AI才能被放心地规模化。这是一个必要条件。

我们采访过的一家全球银行的领导者将AI控制嵌入其标准贷款工作流程中，而不是将其视为一个独立的合规步骤。对于每个获批的AI用例，该银行的AI用例委员会记录了：(1) 基于客户影响、监管影响、数据敏感性和模型类型的风险等级（高、中或低）；(2) 与该等级相关的强制性控制措施（例如独立模型验证、客户经理的抽样测试或部署后审查的频率）；以及 (3) 决策权（谁可以在什么条件下批准模型变更）。这些要求随后被直接编码到信贷审批流程和系统中。客户经理无法绕过模型验证步骤或部署审查；例外情况需要业务和风险管理团队的明确批准。监督在常规决策周期中出现，而不是通过临时委员会或审计。

2. 在异质专业知识和风险概况之间实现决定性判断。 自适应AI治理不需要共识或共同判断。恰恰相反：它需要能够跨越异质专业知识、方法和风险概况实现决定性判断的机制。这通常是最困难——也是最关键——的任务。随着AI风险在不同类别之间转移并穿透组织孤岛，问责制不能停留在任何一个单一职能中。领域之间的差异不是缺陷，而是一个特征：它们反映了不同的专业知识、评估方法和风险承受能力。因此，治理的挑战不是同质化这些观点，而是创造条件，使组织能够将它们大规模转化为决定性决策——同时避免判断同质化和对AI输出的不加批判的橡皮图章式批准。

将持久性决定性判断能力制度化的核心挑战之一是，当不同领域的专家没有共同框架时，基于规则的控制常常被孤岛知识所破坏。为了克服这些障碍，通过联合模型审查和文档（例如前面描述的模型卡）跨领域共享知识，并举行常规的跨职能验证会议，使决策逻辑、假设和阈值变得明确且可质疑。在事后对齐控制中，挑战不仅涉及知识孤岛，还涉及错位的风险承受能力和方法论方法。当不同团队使用不同的隐含风险阈值运作时——一方面过早停止判断，另一方面陷入分析瘫痪——对齐可能会崩溃。依赖不同的方法来调和预期结果与观察结果（例如分析验证、对照实验或基于案例的判断）也可能导致错位。在这种情况下，分歧不仅在于模型推荐什么，还在于多少风险是可接受的，以及什么构成模型按预期运行的充分证据。

因此，一个关键的回应不仅仅是“建立对AI建议的信任”，而是建立共享的评估常规，以揭示并调和风险承受能力和方法论方法上的差异。系统性的部署后评估将讨论锚定在观察到的系统行为上，而不是关于模型质量的抽象信念。

组织可以通过结构化的审查常规来实现这一点，这些常规结合了事件和未遂事件分析、性能漂移监控，以及预期用例与实际决策结果之间的明确比较。至关重要的是，这些常规创建了共同的参考点——商定的风险阈值、共享的证据标准和可比较的指标——通过它们，分析驱动的团队、实验导向的团体和用例所有者可以共同评估模型是否按预期运行。随着时间的推移，这使假设、阈值和控制措施得以重新校准，减少由过度谨慎驱动的过早关闭和由方法论分歧驱动的分析瘫痪。

传播风险控制依赖于思维方式的根本转变：从将风险视为以公司为中心的问题，转变为将其作为生态系统层面的现象进行治理。与数字商业生态系统一样，AI系统中的风险在不同角色、激励和相互依赖程度的参与者之间不均匀地传播。4 绘制公司边界之外的这些相互依赖性是一个必要的第一步——通常是一个警钟——但仅此还不够。

正如对生态系统战略的研究所示，当问责制分散、激励措施仍局部优化、且没有参与者明确负责协调跨边界权衡时，协调就会崩溃。5 类似的动态也破坏了AI传播风险控制。团队仍然倾向于狭隘地关注自己的系统；风险所有权分散在组织单位和外部合作伙伴之间；下游或声誉风险被视为他人的责任。

如果没有领导层对生态系统层面问责制的支持——以及根据相互依赖类型区分风险所有权的治理机制——相互依赖性映射可能会成为一次性的分析练习，而不是持续的治理能力。生态系统思维不仅需要看到连接，还需要共享的参与规则、升级权利和决策权，以管理风险如何随时间跨组织和技术边界传播。

克服这些障碍对于创造条件实现决定性判断至关重要，这种判断尊重专业知识、方法和风险承受能力的差异，而不是将它们压缩成一个单一的、不加批判的评估框架。

3. 将治理制度化为一个学习系统。 AI治理不能是静态的：风险会变异，因此控制措施必须演变。6 因此，有效的治理要求组织建立具有明确角色的学习循环，用于从事件和未遂事件中吸取教训，并将这些教训转化为更新的标准、阈值和控制措施。

有效的自适应AI治理不仅仅依赖控制措施、系统或大规模治理平台，而是依赖于建立正确的心态并将实践性学习循环嵌入日常监督中。这包括分配明确的责任来审查事件和未遂事件；系统地记录出错的地方；并确保见解被转化为修订的政策、重新校准的阈值或加强的控制措施。随着时间的推移，治理从协议和系统转向制度化的持续改进，确保随着模型的演变、背景的变化和新风险的出现，AI系统始终与组织意图保持一致。

综合来看，这些步骤标志着人工智能治理的根本性转变。适应性AI治理并非增加控制、委员会或检查清单，而是识别适合目的的控制措施，并将其嵌入组织运作、决策和学习的方式中——融入工作流程与激励机制、共享判断框架，以及持续吸收经验并采取行动的动态系统。将治理视为静态的组织，必然会落后于那些能够实时学习、适应并传播风险的系统。相反，将治理制度化为一套学习能力——连接战略、执行与监督——的组织，能够将AI治理从约束转化为规模化发展的推动力。在智能系统时代，优势将不再来自更快地采用AI，而是来自更好地治理AI——将监督嵌入决策制定、风险传播和价值创造之处。

#规模化 #适应性 #治理