為超人員工重新定義管理

連續第四年， 麻省理工學院斯隆管理評論 波士頓顧問小組 (BCG) 組建了一個由學者和從業者組成的國際人工智慧專家小組，幫助我們了解全球組織如何實施負責任的人工智慧 (RAI)。 2025 年春季，我們還開展了一項全球高管調查，收到了 1,221 份回复，以了解組織在多大程度上解決負責任的人工智慧問題。在我們的 最近的文章，我們探討了可解釋性與人類監督在追究人工智慧系統責任方面的關係。這次，我們更深入探討代理人工智慧的責任。儘管沒有達成一致的定義， 代理人工智慧 通常是指能夠在沒有人類持續監督的情況下透過做出決策、採取行動和適應動態環境來自主追求目標的人工智慧系統。根據 麻省理工學院的人工智慧代理指數儘管這些系統的技術組件、預期用途和安全性透明度有限，但這些系統在軟體工程和客戶服務等領域的部署正在增加。

鑑於明顯的治理差距，我們要求我們的小組對以下挑釁做出反應： 讓代理人工智慧對其決策和行動負責需要新的管理方法。絕大多數人 (69%) 同意或強烈同意這一說法，認為代理人工智慧由於其大規模自主執行複雜任務的能力以及創造超人勞動力的潛力而呈現出範式轉移。許多專家認為，必須重新構想管理框架，以適應人類在工作場所與人工智慧代理越來越多合作的新動態。然而，少數人（25%）反駁了這一觀點，警告稱這反映了一種“人工智慧例外論”，可能會分散人們對追究個人和組織責任的注意力。相反，他們認​​為，現有的管理框架可以進行調整，以維持人類對代理人工智慧系統的設計、行為和結果的明確責任。

下面，我們分享了小組成員的見解，並利用我們自己的 RAI 經驗來建議組織如何引入新的管理方法或重新構想現有的管理方法，以改善對代理人工智慧系統和日益混合的人類人工智慧勞動力的問責和監督。

代理人工智慧系統挑戰傳統管理模式。 我們的大多數專家認為，代理人工智慧需要新的管理方法，因為與早期技術相比，它具有更高的自主性和複雜性。正如萬事達卡包容性成長中心總裁沙米娜·辛格（Shamina Singh）所觀察到的那樣，「這些系統帶來了前所未有的自主性、複雜性和風險，要求組織重新思考傳統的管理策略。」哈曼國際首席產品長 Jai Ganesh指出，“傳統管理系統是為確定性系統而設計的”，而“代理人工智慧系統獨立運作、以目標為導向、具有記憶和推理能力，這使得它們的決策複雜、自主且不透明。”他認為，這“需要對代理角色進行定義，包括允許的決策、數據使用護欄、道德界限和信心閾值的升級。”儘管這些判斷存在於人類工人中，但它們依賴於人類的工作人員。然而，代理人工智慧系統需要明確定義的規則和閾值。讓它們正確可能非常具有挑戰性，並且不符合傳統的管理模式。 Automation Anywhere 的 Yan Chow 補充道：“證明因果關係和錯誤變得極其困難，尤其是對於複雜、自主且不透明的人工智慧系統。”

我們的專家也指出，代理人工智慧超人的速度和規模尤其具有破壞性。正如 GitHub 首席法務官 Shelley McKinley 所解釋的那樣，“當今的工作流程在構建時並沒有考慮到人工智能的速度和規模，因此解決差距需要新的治理模型、更清晰的決策路徑以及重新設計的流程，以便跟踪、審計和乾預人工智能驅動的決策。”

聯合國大學的 Tshilidzi Marwala 也認為，「由於代理人工智慧具有自主決策、自適應學習和高速運行的特點，因此傳統的管理模式（為人類代理而創建）很難處理。」渣打銀行人工智慧支援主管 David Hardoon警告說：“為人性化系統而構建的舊管理模型在跟踪人工智能的動態行為方面存在不足，存在未解決的錯誤或損害的風險。”他補充道，“如果不加以控制，這可能會導致嚴重後果，因此需要使用道德護欄進行自動監控。”

鑑於這些挑戰，一些小組成員呼籲進行持續、迭代的監督。正如 TÜV AI.Lab 執行長 Franziska Weindauer 所解釋的那樣：「這些系統自行做出決策，而這些決策可以直接影響人員、工作流程和關鍵決策。」她說，人工智慧的治理意味著人類在整個生命週期中都參與其中。然而，Weindauer 補充道，“僅僅運行一次檢查清單並認為完成是不夠的”，“為了保持責任感，組織需要在整個使用過程中遵循人工智能係統的工具和流程。”納斯達克人工智能研究和工程負責人道格拉斯·漢密爾頓（Douglas Hamilton）建議將“定期和快速的流程審查轉變為技術、投資回報率驅動的學習和設計流程”。管理者將需要新的技能來提供有效的監督，而代理人工智慧系統設計者必須創建能夠實現這種類型監督的系統。

代理人工智慧要求我們重新思考人與機器的關係。 除了技術監督之外，管理代理人工智慧還需要明確人類和人工智慧代理之間的關係。阿波羅全球管理人工智慧負責人卡蒂亞·沃爾什（Katia Walsh）倡導協作模式，她說：「如果我們負責任地行事，人類將與『人工智慧工作者』合作、監督並確保『人工智慧工作者』誠信地實現其預期目標。」但其他人質疑人類監督是否應該始終佔上風。艾伯塔省機器智慧研究所人工智慧信任與安全主任 Alyssa Lefaivre Škopac 認為：「當人類凌駕於人工智慧之上並犯錯時，真正的挑戰就出現了。」她問道：「人類決策是否應該始終被優先考慮，或者在某些情況下我們是否需要遵循人工智慧？」同樣，漢密爾頓警告說，「人類決策是否應該始終被優先考慮，或者在某些情況下我們是否需要遵循人工智慧？」同樣，漢密爾頓警告說，「代理犯有哪些系統要求這樣做的管理者

我們的專家也強調，每個人都需要重新考慮問責制，因為人工智慧代理不是人——這意味著我們還不能以同樣的方式讓他們承擔責任。 「由於人工智慧缺乏法人資格，」Chow 指出，「它不能像人類或企業那樣被直接起訴、監禁或承擔責任。」Marwala 補充道：「新的法律和道德框架也至關重要，因為現有的法律體係不承認人工智慧為法人，因此需要對人工智慧生命週期進行主動、開放的管理，超越傳統的績效指標。」GitHubHubHubHub 指標。的麥金利認為，“由於人工智慧不是一個人或法律實體，因此決策和行動的責任從一開始就需要廣泛的共同責任。”她解釋道，“代理人工智慧創造者必須在開發過程中嵌入透明度和人工監督等內容，而用戶必須負責任地部署它們，並監控和記錄影響。”

最終，這是要讓人們而不是人工智慧承擔責任。 並非所有人都同意代理人工智慧需要新的管理模式。 IAG 首席人工智慧科學家 Ben Dias 拒絕接受「人工智慧需要對經過驗證的組織實踐進行革命性改變」的觀點，他認為，「管理者通常將其決策過程委託給他們無法完全預測或控制的團隊成員，但透過明確的界限、注重結果的監督和適當的監控來保持責任。」對於迪亞斯來說，「代理人工智慧」只是代表了這個既定框架內的一種新型模型。同樣認為，“如果你的人工智慧表現得像一名員工（或更糟的是，一群自由工作者），那麼是時候開始像員工一樣管理它了。”

其他人也認為對新管理模式的呼籲是錯誤的。對於 RAIght.ai 聯合執行長 Richard Benjamins 來說，「指出需要新的管理方法，因為將責任從人轉移到代理人工智慧系統，在目前的情況下，這是一座太遙遠的橋樑。」相反，這些專家強調，技術背後的人員和組織必須堅定地承擔責任。正如聯合國兒童基金會的史蒂文·沃斯洛（Steven Vosloo）所說，“重要的是要預先認識到代理人工智能（即軟體）無法對其決策和行動負責”，並且“製作和部署軟體的人應對其行為負責。” Partnership on AI 首席執行官麗貝卡·芬利 (Rebecca Finlay) 同意這樣的觀點：“讓代理公司負責“讓我們自己和總結的那樣，“那些實施人工智慧系統並將其提供給最終用戶的人才是需要負責的人，而不是人工智慧本身。”

建議

總之，我們為尋求改善代理人工智慧系統問責制的組織提供以下建議：

1. 採用基於生命週期的管理方法。 代理人工智慧快速、複雜且動態。實施持續、迭代的管理流程，追蹤代理人工智慧系統從初始設計到部署和持續使用的整個過程。引入定期評估、技術審核和效能監控來即時檢測和解決問題，而不是一次性審查。管理方法應使監督成為日常營運的一部分，而不是一項定期或孤立的合規任務。

2. 將人類責任納入人工智慧治理結構。 設計管理框架，在人工智慧生命週期的每個階段為人類管理者和代理人工智慧系統明確分配特定的角色和職責。建立決策協議、升級路徑和評估檢查點必須成為每個代理人工智慧系統部署的一部分，以確保人們對結果負責。這些結構應該強調代理人工智慧是人類主導流程中的一種工具。

3. 在特定環境下實現人工智慧主導的決策。 雖然人類監督至關重要，但代理人工智慧的特性卻超越了其極限。新的管理方法應該根據其卓越的速度、準確性或一致性來確定人工智慧可以而且應該佔據主導地位的領域。在這種情況下，治理可以專注於定義邊界、監控績效並確保為高風險情境保留人為幹預。這些責任應在企業高階領導層中達成一致，並明確傳達給管理者，以便他們充分了解自己在這些情況下的責任。

4. 為創建其他人工智慧系統的代理人工智慧做好準備。 未能考慮到其他人工智慧系統自主開發或修改的人工智慧系統可能會導致組織中出現顯著的可見性差距。識別和整合這些新興系統對於定義企業中人工智慧的範圍至關重要。不考慮人工智慧後代的治理結構和管理方法將助長而不是減輕人工智慧相關風險。

5. 當談到代理人工智慧時，將隱式顯式化。 由於代理人工智慧系統需要明確定義的規則和閾值，組織應明確代理人工智慧在其管理結構中的作用和範圍。正如人類勞動力透過旨在確保問責制的分層或結構化管理系統進行擴展一樣，代理人工智慧在勞動力中的整合也需要對其範圍有清晰的理解和闡明，並在這些組織框架中深思熟慮地闡明其角色，包括它與日益超人的勞動力中的人類組成部分的關係。