AI 거버넌스에 대해 물어야 할 진짜 질문

말 그대로 모든 Fortune 500대 기업의 리더들은 자신들이 AI를 관리하고 있다고 말할 것입니다 — 그들 모두 말이죠. 이제 같은 리더들에게 피해를 입히는 AI 모델을 종료할 책임이 누구에게 있는지 물어보십시오. 대부분의 사람들은 그 질문에 답할 수 없습니다.

그 침묵이 지금 엔터프라이즈 기술에서 가장 중요한 이야기이며, 거의 다루어지지 않습니다.

지난 몇 년 동안, 인공지능을 중심으로 거버넌스 산업이 조용히 성장해 왔습니다. 기업들은 AI 모델을 분류하기 위한 레지스트리를 구축했습니다. 데이터에 레이블을 지정하기 위한 분류 시스템을 구현했습니다. 모델 동작을 모니터링하기 위한 대시보드와 새로운 배포를 검토하기 위한 리스크 위원회를 구성했습니다. 정책을 작성하고, 규정 준수 책임자를 고용했으며, 이사회에 슬라이드를 발표했습니다. 거버넌스 인프라는 확산되었습니다.

부족한 것은 거버넌스 주체(governor)입니다.

AI 모델을 종료할 수 있는 사람

저는 Adobe에서 AI 및 데이터 거버넌스를 운영하고 있습니다. 제 임무는 모든 기업이 현재 보유하고 있다고 주장하는 바로 그런 프로그램을 구축하는 것입니다. 그리고 직접 실무를 경험하면서 내부에서 배운 것은, 어려운 부분은 결코 기술이 아니라는 점입니다. 어려운 부분은 거의 모욕적으로 단순해 보이는 질문입니다: AI 모델이 해서는 안 되는 일을 할 때, 그것을 중단시킬 권한이 있는 사람은 누구입니까?

질문은 누가 통보를 받는지가 아닙니다. 누가 사고 보고서를 작성하는지도 아닙니다. 회의에 들어가서 "이것을 종료하겠습니다"라고 말할 수 있는 권한, 조직 내 지위, 그리고 솔직히 말해 직업 안정성을 가진 사람이 누구인지입니다.

대부분의 기업에서, 그런 사람은 존재하지 않거나 개발팀과 조직적으로 분리된 종이 호랑이(paper tiger)에 불과합니다. 최고 AI 윤리 책임자와 같은 역할과 데이터 거버넌스 위원회 및 책임 있는 AI 팀과 같은 그룹은 완전히 필요하지만 단지 자문 역할만 합니다. 그들은 문제를 지적할 수 있습니다. 추천할 수 있습니다. 에스컬레이션할 수 있습니다. 일반적으로 그들이 할 수 없는 것은 중단 버튼을 누르는 것입니다. 실제 의사 결정 권한은 다른 곳에 있습니다. 대부분의 Fortune 500대 기업 내에서, 그 권한은 일반적으로 제품 출시와 수익 목표 달성을 주요 업무로 하는 사람에게 있으며, 거버넌스 플래그를 명령이 아닌 부차적인 것으로 취급할 모든 인센티브를 가지고 있습니다.

이것은 개인에 대한 비판이 아닙니다. 거버넌스 산업이 대체로 무시하기로 선택한 구조적 문제에 대한 설명입니다. 거버넌스 산업이 도구를 판매하고 있기 때문이지, 책임성을 판매하는 것이 아니기 때문입니다.

이러한 도구는 규제 준수와 효과적인 거버넌스에 진정으로 유용하고 필수적입니다. 모델 레지스트리는 어떤 AI 시스템이 존재하고 무엇을 하는지 알려줍니다. 리스크 분류 프레임워크는 어떤 시스템이 가장 많은 조사를 받아야 하는지 알려줍니다. 데이터 계보 시스템은 입력이 어디서 왔는지와 깨끗한지 여부를 알려줍니다. 이 모든 것은 실제적이고 중요한 인프라입니다. 그러나 이는 가시성을 위한 인프라일 뿐, 행동을 위한 인프라는 아닙니다.

문제에 대한 완벽한 가시성을 가지고 있으면서도 해결 메커니즘이 없을 수 있습니다. 무언가를 하려면 무언가를 봐야 하지만, 불을 끄기 위해 호스를 집어 들어야 합니다.

이렇게 생각해 보십시오: 화재 경보기는 소방서가 아닙니다. 집의 모든 방에 배선을 하고, 매년 모든 연기 감지기의 배터리를 성실히 교체하며, 모든 경보를 아름다운 대시보드로 라우팅할 수 있습니다. 하지만 아무도 호스를 집어 들지 않았기 때문에 집이 불타버릴 수 있습니다. 네, 집이 불타고 있다는 것을 아는 것은 중요합니다. 그렇지 않으면 호스가 필요하다는 것을 알 수 없기 때문입니다. 하지만 소방서에 조치를 취하라고 알릴 누군가가 필요합니다.

Adobe에서는 모든 AI 시스템에 대해 명명된 소유자와 중앙 집중식 운영 위원회를 두고, 에스컬레이션 권한을 부여하며, 제품 팀이 아닌 신뢰 및 보안 조직에 보고하는 연방 거버넌스 모델을 만들어 이 문제를 해결했습니다. 이것이 우리가 내린 핵심 설계 선택입니다: 거버넌스에 AI 제품을 출시하는 팀과 독립적인 보고 라인을 제공하는 것입니다. 이는 AI 결정에 "아니오"라고 말할 수 있는 사람이 제품 출시에 "예"라고 말함으로써 이익을 얻는 사람에게 보고하지 않도록 하기 위해 필수적입니다.

왜 긴급성이 필요한가

여기서의 이해관계는 빠르게 높아지고 있습니다. 유럽연합의 AI 법이 현재 시행 중이며, 기업들에게 대시보드를 보유하고 있음을 입증하도록 요구하지 않습니다. 의미 있는 거버넌스를 보유하고 있음을 입증하도록 요구합니다. 문서화된 의사 결정, 명확한 책임 라인, 그리고 사후에 AI 시스템에 대해 중요한 선택을 한 사람이 누구이며 그 이유를 보여줄 수 있는 능력을 요구합니다. 규제 기관이 그러한 질문을 하러 올 때, 정책 문서와 리스크 레지스트리만으로는 충분한 답변이 될 수 없습니다. 규제 기관은 이름을 원합니다.

거버넌스에 대한 긴급한 필요성은 AI 배포 속도에 의해 더욱 가중됩니다. 대부분의 대기업은 현재 조직 전반에 걸쳐 수백 개의 AI 시스템을 운영하고 있으며, 리더들조차 인지하지 못하는 곳에 있을 수 있습니다. 고객 서비스, 채용, 콘텐츠 조정, 가격 책정, 사기 탐지, 그리고 선의의 직원들이 단지 삶을 편하게 만들기 위해 사용하는 모든 곳에서 AI 도구를 찾을 수 있습니다. 이러한 시스템 중 상당수는 압박 속에서 빠르게 배포되었으며, 거버넌스는 미래의 누군가가 처리할 문제로 간주되었습니다. 미래의 그 누군가를 위한 시간이 도래했습니다.

해결책은 AI 도입을 늦추는 것이 아닙니다. 기술적 질문만큼이나 조직 설계 질문을 진지하게 받아들이는 것입니다. 모든 AI 거버넌스 프로그램은 세 가지 질문에 답할 수 있어야 합니다: 모델을 중단할 권한이 있는 사람은 누구입니까? 그 사람이 그것이 자신의 업무임을 알고 있습니까? 그리고 그 권한이 다른 사람의 로드맵과 충돌할 때 행사할 수 있는 지위를 가지고 있습니까?

귀사가 이러한 질문에 답할 수 없다면, 거버넌스 프로그램을 가지고 있는 것이 아닙니다. 서류 작업을 가지고 있는 것입니다.

향후 5년간의 AI 규제와 대중의 조사를 헤쳐 나갈 기업은 반드시 가장 정교한 도구를 가진 기업은 아닙니다. 기술 아래에 인간의 책임 구조를 구축하는 더 어렵고 덜 화려한 작업을 수행한 기업입니다.

이러한 조직은 AI 거버넌스 주체를 임명하고, 그들에게 실제 권한을 부여했으며, 그 임무가 AI 배포를 더 쉽게 만드는 것이 아니라 방어 가능하게 만드는 것임을 분명히 했습니다. 이러한 조직은 식별, 시정 및 에스컬레이션을 위해 위임된 연방 팀을 보유하고 있으며, 에스컬레이션에는 목적지가 필요하다는 것을 알고 있습니다. 이는 AI를 출시하는 제품 팀과 독립적으로, AI 배포를 중단할 명시적 권한을 가진 고위 리더십에 직접 연결되는 거버넌스 기능을 의미합니다.

모든 기업이 자사의 AI를 관리한다고 말합니다. 거버넌스와 연극을 구분하는 진짜 질문은 어떤 프레임워크보다 간단합니다. 스스로에게 물어보세요: 우리 조직에서 누가 '안 된다'고 말할 수 있고, 그 말에 권위를 부여할 수 있습니까?