超越驗證——負責任的人工智慧對人類專家的真正要求是什麼

連續第五年， 麻省理工學院斯隆管理評論 波士頓顧問小組 (BCG) 組成了一個由學者和從業者組成的國際人工智慧專家小組，幫助我們了解全球各組織如何實施負責任的人工智慧。在今年的第一篇文章中，我們探討了組織應如何考慮人工智慧對勞動力的影響，我們的專家強調，負責任的人工智慧意味著超越人工智慧系統的安全性，並解決現實世界對工人和經濟穩定的影響。

這次，我們要求我們的小組對以下挑釁做出反應： 如果不培養能夠驗證人工智慧解決方案的人類專家，負責任的人工智慧努力就會失敗。從表面上看，存在廣泛的共識，我們的小組成員中絕大多數（84％）同意或強烈同意該聲明。但更深入的研究表明，小組成員定義 確認 其範圍遠比挑釁所暗示的要廣泛得多。他們沒有將驗證視為狹隘的、逐個輸出的檢查，而是將驗證描述為在人工智慧系統的生命週期中應用人類判斷、解釋上下文、設計測試、審核工作流程、設定閾值、權衡何時根本不應該依賴人工智慧以及承擔機器無法承擔的責任的工作。以這種方式理解，驗證並不是最終的檢查點，而是負責任的人工智慧的結締組織，包括組織需要與系統本身一起擴展的設計、監督和問責制。下面，我們分享小組成員的見解，並為尋求培養其負責任的人工智慧治理工作所依賴的人類專業知識的組織提供實用建議。

人類為驗證人工智慧輸出提供了背景。 ForHumanity 創辦人 Ryan Carrier 支持這樣的共識：負責任的人工智慧工作必須培養人類專業知識來驗證人工智慧輸出，因為正如他所說，「環境很重要」。同樣，TÜV AI.Lab 執行長 Franziska Weindauer 指出：「人工智慧解決方案在複雜的現實環境中運行，人類專家對於解釋結果、檢測故障和確保系統按預期運行至關重要。」正如 GovLab 首席研發長 Stefaan Verhulst所解釋的那樣，「人工智慧的許多最重大風險都是社會風險，而不是技術風險，例如與公共價值觀不一致、對弱勢群體產生有害影響或不適當的部署環境。」許多專家認為，這些風險恰恰是最難透過全面技術解決方案解決的風險。

對於某些人來說，上下文是不可簡化的人類的，不能單獨以機器可讀的形式捕獲。正如 OdeseIA 總裁 Idoia Salazar 所解釋的那樣，「並非所有內容都會轉化為數據，例如特定情況下的上下文。」共同開發基金投資委員會的傑出成員 Yasadora Cordova 同意負責任的人工智慧需要「情境敏感性」——在她看來，這種品質「無法自動化」。 Wipro Ltd. 技術、互聯服務和工程副總裁 Jai Ganesh 博士補充道：「態勢感知是人工智慧系統關注的另一個領域，在特定國家或情況下，正確的輸出可能在文化上不敏感或存在法律問題。」 Automation Anywhere 的 Yan Chow 同樣觀察到，「人類能夠識別數據無法捕獲的社會政治細微差別原因和研究成果。得出的結論是，“無論模型多麼複雜或治理框架多麼複雜，仍然必須有人能夠詢問一個系統是否可靠、合法且適合具體情況”，在他看來，這項責任需要人類的專業知識。

如果機器無法完全捕獲上下文，那麼實際後果將是嚴重的。 Carrier 認為，「領域專家有必要提供回饋和風險評估，從而產生量身定制的控制、處理和緩解措施，旨在解決因上下文相關的人工智慧部署和使用而帶來的具體和獨特的風險。」薩拉查更進一步，認為「無論一種工具多麼先進，它都不能保證其輸出是公平的、安全的或適合具體的情況。」對於 Ganesh來說，「邊緣情況、罕見場景和人工智慧系統容易崩潰的新環境」會加劇風險，他認為「捕捉這些故障需要人類判斷和深厚的領域專業知識。」Chow 同意，人類的專業知識對於為人工智慧最脆弱的邊緣情況構建「經過專家驗證的護欄」至關重要。此外，他認為“在沒有人類專家的情況下，負責任的人工智慧框架會陷入合規困境，因為人工智慧無法感知動態環境。”

失去人類專業知識對組織構成生存威脅。 人們擔心的不僅是，如果沒有人類專業知識來驗證結果，人工智慧系統就會失敗，而且隨著時間的推移，組織可能會失去人類專家的能力。科爾多瓦認為，“僅將驗證委託給人工智慧的組織削弱了審計機構的能力，因為專業知識萎縮，初級員工永遠不會發展獨立性。”同樣，顧問琳達·利奧波德（Linda Leopold）警告說，“如果我們總是讓人工智能為我們做工作，我們就會逐漸失去監督它所需的專業知識”，並且我們需要保持人類判斷力時足夠敏銳。表示：“負責任的人工智慧努力失敗並不是因為人類無法驗證每個人工智慧決策，而是因為組織缺乏管理如何負責任地評估、監控和部署人工智慧系統的專業知識。”

從這個角度來看，企業的利益本質上是人的。正如澳洲國立大學的 Belona Sonna 所說，「負責任的人工智慧的核心目標不僅是設計符合道德原則的系統，而且還要確保人類在發生偏差時仍然有能力進行幹預。」換句話說，薩拉查表示，負責任的人工智慧「需要準備好不將人類基本責任委託給機器的人」。如果沒有這種能力，負責任的人工智慧是否需要手動驗證人工智慧輸出的問題就變得毫無意義——因為沒有人具備這樣做的專業知識。

僅靠人工驗證無法擴充。 儘管人們廣泛支持培養人類專業知識的重要性，但許多專家對人類驗證的規模和範圍表示擔憂。沃頓商學院教授卡蒂克·霍桑納格 (Kartik Hosanagar) 解釋道：「在很多情況下進行人工驗證會有所幫助。但在許多其他情況下，由於所需驗證的規模，人工驗證是不可行的。」霍夫曼同意，對於「處理大量數據或檢測超出人類能力的模式的應用程序，逐個輸出的人工驗證既不可行也不有意義。正如 Öykü Işik 所說，“人工智慧的核心價值在於其速度和規模”，因此“要求對每個輸出進行人工驗證將有效抵消這些效率提升。”

對這些專家來說，解決方案不是放棄人類判斷，而是更具策略性地部署它。 Armilla AI 的人工智慧政策主管 Philip Dawson 認為，“隨著人工智慧系統的複雜性和部署速度的增長，僅由人類進行的驗證成為結構性瓶頸”，需要採取不同的方法。 Işik 以網路安全為例，認為系統需要能夠識別何時需要人工幹預，“同時依靠自動化決策來處理大部分工作量，以避免大規模的運營瓶頸”，並認為系統需要能夠識別何時需要人工幹預，“同時依靠自動化決策來處理大部分工作量，以避免大規模的運營瓶頸”，並認為“最成功的負責任的人工智能工作將人類專業知識和自動化工具視為一個組合系統。”艾伯塔省機器智能研究所信任與安全主任 Alyssa Lefaivre Škopac 主張的標準配備“縱線控制方法，涵蓋這些系統從系統到系統的跨線”。道森同樣認為，“該領域必須投資於自動化評估框架和代理保證管道，以大規模擴展而不是取代人類判斷。”

監督和問責仍然至關重要。 除了依靠人工和機器驗證的結合之外，我們的專家認為，監督和問責制對於任何負責任的人工智慧策略仍然至關重要。切斯特曼認為「驗證不應該被理解得太狹隘」。他補充道，「在某些情況下，人類專家將直接驗證輸出；在其他情況下，他們將設計測試、審核工作流程、設置可接受使用的閾值，或者決定何時根本不應該依賴人工智能。」換句話說，正如周所說，「人類的專業知識是設計時的必需品，而不僅僅是運行時的檢查。」星展銀行前首席分析官 Sameer Gupta同意，“治理和監督應該嵌入到人工智慧解決方案設計和部署的每個階段，而不是僅僅將其視為輸出的最終檢查點。”

許多專家認為，人類對人工智慧輸出的驗證至關重要，這不是目的，而是對人工智慧系統進行有意義的監督和問責的核心部分。 IAG 首席人工智慧科學家 Ben Dias 解釋說，作為「一種技術構造…人工智慧系統缺乏對其行為後果承擔法律或道德責任的機構」。出於這個原因，迪亞斯說，「每個人工智慧解決方案都需要一個負責任的人，負責確保系統的輸出得到正確的理解和驗證。」ADP 首席產品長 Naomi Lariviere 對此表示同意，她表示：「人工智慧系統可以產生建議並自動做出決策，但它們無法承擔責任。」GitHub 開發者政策副總裁 Mike Linksvayer Mike Linksvayer認為，“隨著系統變得更加代理，限制因素不再是檢查單個輸出的能力，而是對目標、約束、升級路徑和責任進行明智判斷的能力。”

建議

如果限制因素是做出明智判斷的能力，而不僅僅是檢查人工智慧輸出，那麼組織需要刻意投資於這種判斷。我們為那些希望培養與其人工智慧目標相適應的人類專業知識的組織提供以下建議：

1. 驗證設計，而不僅僅是輸出。 僅關注系統輸出的人工驗證的狹隘觀點是不夠的。人類驗證，在更廣泛的人類監督意義上，應該嵌入人工智慧解決方案設計和部署的每個階段，而不是被視為最終檢查點。這意味著人類專家設定閾值、設計測試、審查工作流程並決定何時不應依賴人工智慧，而不僅僅是在事後審查單一輸出。

2. 不要只依賴人工驗證。 由於對每個人工智慧輸出的人工驗證無法擴展，致力於負責任監督的組織應該投資於各種使用自動化工具來擴展或增強人類判斷的方法。在需要人工判斷的情況下，應強調人工驗證，包括邊緣情況、高風險決策和新穎的環境，而自動化工具可以處理剩餘的任務量。我們的目標是建立一個組合系統，大規模擴展人類判斷力，而不是取代它或成為其瓶頸。

3. 投資人力專業知識。 組織應該投資於人類專業知識來驗證人工智慧系統的輸出，並對系統的設計方式以及它們是否按預期工作提供持續的監督。事實上，隨著技術能力的增長，對人類專業知識的需求只會增加。如果初級員工永遠無法培養獨立判斷力，而高階員工的專業知識會因為不參與這個過程而萎縮，那麼組織就有可能失去管理人工智慧系統的能力。這可能意味著保持人類參與建立專業知識和判斷力的流程或任務，即使它們可以透過人工智慧實現自動化。在這些情況下，放棄的效率增益應被視為未來的策略投資。

4. 驗證所學到的內容，而不僅僅是產生的內容。 組織傾向於專注於驗證人工智慧系統的輸出是否正確，但他們也需要仔細檢視從人工智慧部署和結果中學到的教訓。當團隊解釋試點結果、衡量績效效益或決定哪些有效、哪些無效時，這些結論將成為未來投資、擴展決策和人工智慧價值的組織敘述的基礎。如果這些經驗教訓有缺陷（追蹤了錯誤的指標，忽略了邊緣情況，或過早宣布成功），組織就有可能以越來越大的規模持續存在錯誤的假設。人類專家不僅應該參與驗證人工智慧系統產生的內容，還應該批判性地評估組織認為從部署人工智慧系統中學到了什麼。

5. 將核查視為策略要務，而非僅是責任實務。 根據 2025 年進行的全球高階主管調查 麻省理工學院斯隆管理評論 和 BCG 相比，86% 的高階管理團隊認為人工智慧是其策略重點的重要組成部分。當人工智慧成為組織競爭、發展和決策的核心時，人類監督的品質將直接影響戰略結果，而不僅僅是道德結果。有缺陷的產出、未經檢查的部署以及糟糕的教訓不僅會帶來責任風險，還會帶來風險。它們會導致資源分配不當、計劃失敗、競爭地位下降以及失去客戶信任。前面的建議——驗證設計、結合人工和自動監督、投資專業知識以及審查所學——不僅僅是對負責任的人工智慧專案的理想補充。它們是有效策略管理的先決條件。