검증을 넘어 — 책임 있는 AI가 인간 전문가에게 진정으로 요구하는 것

5년 연속으로, MIT 슬론 경영 리뷰 and Boston Consulting Group (BCG) have assembled an international panel of AI experts that includes academics and practitioners to help us understand how responsible artificial intelligence is being implemented across organizations worldwide. In our first post this year, we explored how organizations should think about AI’s impact on the workforce, with our experts stressing that responsible AI means looking beyond the safety of AI systems to address real-world consequences for workers and economic stability.

이번에는 패널에게 다음과 같은 발제에 반응해 달라고 요청했습니다: 책임 있는 AI 노력은 AI 솔루션을 검증할 수 있는 인간 전문가를 양성하지 않으면 실패한다. 표면적으로는 광범위한 합의가 있으며, 패널리스트의 명확한 다수(84%)가 이 진술에 동의하거나 강력히 동의합니다. 그러나 더 깊이 들여다보면 패널리스트들이 정의하는 확인 도발이 암시하는 것보다 훨씬 더 광범위하게 말이다. 검증을 단순한 산출물별 점검으로 보지 않고, AI 시스템의 수명 주기 전반에 걸쳐 인간의 판단을 적용하고, 맥락을 해석하며, 테스트를 설계하고, 워크플로를 감사하며, 임계값을 설정하고, AI에 전혀 의존해서는 안 되는 경우를 판단하며, 기계가 감당할 수 없는 책임을 지는 작업으로 설명한다. 이렇게 이해하면, 검증은 최종 점검 지점이 아니라 책임 있는 AI의 연결 조직으로, 조직이 시스템 자체와 함께 확장해야 하는 설계, 감독, 책임성을 포괄한다. 아래에서는 패널리스트들의 통찰력을 공유하고, 책임 있는 AI 거버넌스 노력이 의존하는 인간 전문성을 함양하려는 조직을 위한 실용적인 권장 사항을 제시한다.

인간은 AI 출력을 검증하는 맥락을 제공합니다. ForHumanity의 창립자 라이언 캐리어는 "맥락이 중요하다"며 책임 있는 AI 노력이 AI 결과물을 검증하기 위해 인간의 전문성을 키워야 한다는 합의를 지지했습니다. 마찬가지로 TÜV AI.Lab의 CEO 프란치스카 바인다우어는 "AI 솔루션은 복잡한 실제 맥락에서 작동하며, 인간 전문가는 결과를 해석하고 오류를 감지하며 시스템이 의도한 대로 기능하도록 보장하는 데 필수적"이라고 지적합니다. GovLab의 최고 연구개발 책임자 스테파안 페르훌스트는 "AI의 가장 중요한 위험 중 상당수는 공공 가치와의 불일치, 취약 집단에 대한 해로운 영향, 부적절한 배포 맥락과 같은 사회적 위험이지 기술적 위험이 아니다"라고 설명합니다. 많은 전문가들은 이러한 위험이 바로 완전히 기술적인 해결책으로 해결하기 가장 어려운 것이라고 주장합니다.

어떤 이들에게 맥락은 본질적으로 인간적인 것이며, 기계가 읽을 수 있는 형태만으로는 포착할 수 없습니다. 오데세이아IA 회장 이도이아 살라자르는 "모든 것이 데이터로 번역되는 것은 아니다. 특정 상황에서의 맥락이 그렇다"고 설명합니다. 코디벨로프 펀드 투자위원회의 저명한 위원인 야사도라 코르도바는 책임 있는 AI에는 "맥락적 민감성"이 필요하며, 이는 그녀의 견해로 "자동화될 수 없는" 특성이라고 동의합니다. 위프로 주식회사 기술·연결 서비스·엔지니어링 부문 부사장인 자이 가네시 박사는 "상황 인식은 AI 시스템의 또 다른 우려 영역으로, 올바른 출력이 특정 국가나 상황에서 문화적으로 부적절하거나 법적으로 문제가 될 수 있다"고 덧붙입니다. 오토메이션 애니웨어의 얀 차우 역시 "인간은 데이터가 포착할 수 없는 사회정치적 미묘함과 변화를 식별한다"고 관찰합니다. 이러한 이유로 싱가포르국립대학교 총장 사이먼 체스터먼은 "아무리 정교한 모델이나 정교한 거버넌스 프레임워크가 있더라도, 누군가는 시스템이 신뢰할 수 있고 합법적이며 맥락에 적합한지 질문할 수 있어야 한다"고 결론짓습니다. 이는 그의 견해로 인간의 전문성을 요구하는 책임입니다.

만약 기계가 맥락을 완전히 포착할 수 없다면, 실질적인 결과는 심각하다. 캐리어는 "도메인 전문가가 피드백과 위험 평가를 제공해야만 맥락에 의존적인 AI 배포 및 사용이 제시하는 구체적이고 고유한 위험을 해결하기 위해 잘 조정된 통제, 처리 및 완화 조치를 마련할 수 있다"고 주장한다. 살라자르는 더 나아가 "도구가 아무리 발전해도 그 출력이 공정하고 안전하며 맥락에 적합하다는 것을 보장할 수는 없다"고 말한다. 가네시는 "AI 시스템이 붕괴되기 쉬운 예외 사례, 드문 시나리오 및 새로운 맥락"에서 위험이 더 커진다며 "이러한 실패를 포착하려면 인간의 판단과 깊은 도메인 전문성이 필요하다"고 믿는다. 차우는 AI가 가장 취약한 예외 사례에 대해 "전문가가 검증한 안전장치"를 구축하는 데 인간의 전문성이 중요하다는 데 동의한다. 또한 그는 "인간 전문가 없이는 책임 있는 AI 프레임워크가 준수 극장(compliance theater)으로 전락하는데, 이는 AI가 동적 맥락을 인식할 수 없기 때문"이라고 주장한다.

인간 전문성의 상실은 조직에 실존적 위협이 됩니다. 우려는 AI 시스템이 결과를 검증할 인간 전문가 없이는 실패할 뿐만 아니라, 시간이 지나면서 조직이 인간 전문가 역량을 상실할 수 있다는 점이다. 코르도바는 "검증을 AI에만 위임하는 조직은 전문성이 쇠퇴하고 주니어 직원이 독립성을 키우지 못하면서 이를 감사할 제도적 역량을 잠식한다"고 주장한다. 마찬가지로 컨설턴트 린다 레오폴드는 "AI가 항상 우리를 대신해 작업을 수행하도록 하면, 이를 감독하는 데 필요한 전문성을 점차 잃게 된다"며 "AI에 도전할 수 있을 만큼 인간의 판단력을 예리하게 유지해야 한다"고 경고한다. 엔비W 최고 데이터 책임자 라이너 호프만은 "책임 있는 AI 노력이 실패하는 이유는 인간이 모든 AI 결정을 검증할 수 없기 때문이 아니라, 조직이 AI 시스템을 어떻게 평가·모니터링·책임감 있게 배포해야 하는지를 통제할 전문성이 부족하기 때문"이라고 말한다.

이러한 관점에서 볼 때, 비즈니스의 이해관계는 근본적으로 인간에 달려 있습니다. 호주국립대학교의 벨로나 손나는 "책임 있는 AI의 핵심 목표는 윤리적 원칙에 부합하는 시스템을 설계하는 것뿐만 아니라, 정렬 오류가 발생할 경우 인간이 개입할 수 있는 능력을 유지하는 것"이라고 주장합니다. 달리 말해, 살라자르는 책임 있는 AI가 "본질적으로 인간의 책임으로 남아 있는 일을 기계에 위임하지 않을 준비가 된 사람들"을 필요로 한다고 말합니다. 이러한 역량이 없다면, 책임 있는 AI가 AI 결과물에 대한 인간의 검증을 필요로 하는지에 대한 질문은 무의미해집니다. 이를 수행할 전문성을 가진 사람이 아무도 남지 않기 때문입니다.

인간 검증만으로는 확장이 불가능합니다. 인간 전문성의 중요성에 대한 광범위한 지지에도 불구하고, 많은 전문가들은 인간 검증의 규모와 범위에 대한 우려를 제기합니다. 와튼스쿨의 카르틱 호사나가 교수는 "인간 검증이 유용한 상황은 많지만, 필요한 검증 규모 때문에 인간 검증이 불가능한 경우도 많다"고 설명합니다. 호프만 역시 "대량의 데이터를 처리하거나 인간의 능력을 넘어서는 패턴을 감지하는 애플리케이션의 경우, 출력물 하나하나에 대한 인간 검증은 실현 가능하지도 않고 의미도 없다"고 동의합니다. 일부 전문가들에게는 이러한 방식의 인간 검증 확대가 AI 사용의 핵심 가치 자체를 훼손할 수 있습니다. 외퀴 이시크의 말처럼 "AI의 핵심 가치는 속도와 규모에 있으며, 모든 출력물에 인간 검증을 요구하면 이러한 효율성 이점이 사실상 무효화될 것"입니다.

이 전문가들에게 해결책은 인간의 판단을 포기하는 것이 아니라, 이를 더 전략적으로 배치하는 데 있다. Armilla AI의 AI 정책 책임자인 필립 도슨은 "AI 시스템이 점점 더 복잡해지고 빠르게 배포됨에 따라 인간만의 검증은 구조적 병목 현상이 된다"며 다른 접근 방식이 필요하다고 믿는다. 이식은 사이버 보안을 예로 들어, 시스템이 "대규모 운영 병목을 피하기 위해 대부분의 작업 부하는 자동화된 의사 결정에 의존하면서" 인간의 개입이 필요한 시점을 식별할 수 있는 능력을 갖춰야 한다고 주장하며, "가장 성공적인 책임 있는 AI 노력은 인간의 전문성과 자동화 도구를 결합된 시스템으로 취급한다"고 말한다. 앨버타 머신 인텔리전스 연구소의 신뢰 및 안전 책임자인 알리사 르페브르 슈코팍은 "출력 결과에 의미 있게 이의를 제기할 수 있는 최전선 사용자부터 이러한 시스템 주변의 보증 생태계를 구축하는 전문가에 이르기까지 모든 것을 아우르는 심층 방어 접근법"을 옹호한다. 도슨 역시 "이 분야는 인간의 판단을 확장하되 대체하지 않는 자동화된 평가 프레임워크와 에이전트 보증 파이프라인에 투자해야 한다"고 주장한다.

감독과 책임성은 여전히 가장 중요합니다. 인간과 기계 검증의 결합에 의존하는 것 외에도, 전문가들은 감독과 책임이 모든 책임 있는 AI 전략에서 여전히 가장 중요하다고 믿습니다. 체스터먼은 "검증을 너무 좁게 이해해서는 안 된다"고 주장합니다. 그는 "일부 환경에서는 인간 전문가가 출력을 직접 검증하고, 다른 환경에서는 테스트를 설계하거나, 워크플로를 감사하거나, 허용 가능한 사용 기준을 설정하거나, AI를 전혀 신뢰해서는 안 되는 경우를 결정할 것"이라고 덧붙입니다. 즉, 차우의 말처럼 "인간의 전문성은 단순한 실행 시점의 점검이 아니라 설계 시점의 필수 요소"입니다. 전 DBS 은행 수석 분석 책임자 사메르 굽타도 "거버넌스와 감독은 AI 솔루션의 설계 및 배포의 모든 단계에 내재되어야 하며, 출력에 대한 최종 점검으로만 취급되어서는 안 된다"는 데 동의합니다.

많은 전문가들은 AI 출력물에 대한 인간의 검증이 단순한 목적이 아니라, AI 시스템에 대한 의미 있는 감독과 책임성의 핵심 요소라고 주장합니다. IAG의 수석 AI 과학자 벤 디아스는 "기술적 구성물로서 AI 시스템은 그 행동의 결과에 대해 법적 또는 윤리적 책임을 질 주체가 부족하다"고 설명합니다. 이러한 이유로 디아스는 "모든 AI 솔루션에는 시스템 출력물이 적절히 이해되고 검증되도록 보장할 책임 있는 인간이 필요하다"고 말합니다. ADP의 최고 제품 책임자 나오미 라리비에르도 이에 동의하며 "AI 시스템은 권장 사항을 생성하고 결정을 자동화할 수 있지만, 책임을 질 수는 없다"고 말합니다. GitHub의 개발자 정책 부사장 마이크 링크스베이어는 "시스템이 더 자율적으로 변함에 따라, 한계 요소는 더 이상 개별 출력물을 확인하는 능력이 아니라 목표, 제약 조건, 에스컬레이션 경로 및 책임에 대해 정보에 기반한 판단을 행사하는 능력이 될 것"이라고 주장합니다.

권장 사항

제한 요소가 단순히 AI 출력을 확인하는 것이 아니라 정보에 기반한 판단 능력이라면, 조직은 의도적으로 그 판단 능력에 투자해야 합니다. AI 야망에 맞춰 확장 가능한 인간 전문성을 키우고자 하는 조직을 위해 다음과 같은 권장 사항을 제시합니다.

1. 출력뿐만 아니라 설계도 검증하세요. 인간 검증을 시스템 출력만을 대상으로 하는 좁은 시각으로 보는 것은 충분하지 않습니다. 더 넓은 의미의 인간 감독으로서의 인간 검증은 AI 솔루션의 설계 및 배포의 모든 단계에 내재되어야 하며, 단순한 최종 점검 지점으로 취급되어서는 안 됩니다. 이는 인간 전문가가 임계값을 설정하고, 테스트를 설계하며, 워크플로를 감사하고, AI에 의존해서는 안 되는 상황을 결정하는 것을 의미하며, 단지 개별 출력을 사후에 검토하는 것에 그치지 않습니다.

2. 인간의 검증만으로 의존하지 마십시오. 인간이 모든 AI 출력을 검증하는 것은 확장성이 없기 때문에, 책임 있는 감독을 지향하는 조직은 인간의 판단을 확장하거나 보완하는 자동화 도구를 활용한 다양한 접근 방식에 투자해야 합니다. 인간의 판단이 필수적인 엣지 케이스, 고위험 결정, 새로운 맥락에서는 인간 검증을 강조하고, 나머지 작업량은 자동화 도구가 처리하도록 해야 합니다. 목표는 인간의 판단을 대체하거나 병목 현상을 일으키지 않으면서, 이를 확장하는 통합 시스템을 구축하는 것입니다.

3. 인간 전문성에 투자하라. 조직은 AI 시스템의 출력을 검증하고 시스템이 어떻게 설계되었는지, 의도한 대로 작동하는지에 대한 지속적인 감독을 제공하기 위해 인간의 전문성에 투자해야 합니다. 실제로 기술적 역량이 성장함에 따라 인간 전문성의 필요성은 더욱 증가합니다. 만약 주니어 직원이 독립적인 판단력을 기르지 못하고 시니어 직원의 전문성이 이 과정에 참여하지 않아 쇠퇴한다면, 조직은 AI 시스템을 통제할 능력을 잃을 위험이 있습니다. 이는 AI로 자동화할 수 있는 경우에도 전문성과 판단력을 키우는 프로세스나 작업에 인간의 개입을 유지하는 것을 의미할 수 있습니다. 이러한 경우, 포기되는 효율성 이득은 미래를 위한 전략적 투자로 간주되어야 합니다.

4. 단순히 결과물만 확인하지 말고, 배운 내용을 검증하라. 조직들은 보통 AI 시스템의 출력 결과가 정확한지 검증하는 데 집중하지만, AI 배포와 그 결과로부터 얻은 교훈을 면밀히 검토할 필요도 있다. 팀이 파일럿 결과를 해석하거나, 성과 향상을 측정하거나, 무엇이 효과적이었고 무엇이 아니었는지 판단할 때, 그 결론은 향후 투자, 확장 결정, 그리고 AI의 가치에 대한 조직적 서사의 기초가 된다. 만약 그 교훈이 잘못되었다면(잘못된 지표를 추적했거나, 예외 사례를 무시했거나, 성공을 성급히 선언한 경우), 조직은 잘못된 가정을 점점 더 큰 규모로 지속할 위험을 감수하게 된다. 따라서 인간 전문가는 AI 시스템이 생성한 결과를 검증하는 것뿐만 아니라, 조직이 AI를 배포함으로써 얻었다고 믿는 교훈을 비판적으로 평가하는 데에도 참여해야 한다.

5. 검증을 단순한 책임 관행이 아닌 전략적 필수 과제로 간주하라. 2025년 글로벌 경영진 설문조사에 따르면 MIT 슬론 경영 리뷰 또한 BCG에 따르면, 최고 경영진의 86%가 AI를 전략적 우선순위의 중요한 부분으로 간주합니다. AI가 조직의 경쟁, 성장, 의사 결정의 핵심이 될 때, 인간의 감독 품질은 윤리적 결과뿐만 아니라 전략적 성과에도 직접적인 영향을 미칩니다. 결함 있는 결과물, 검증되지 않은 배포, 잘못 도출된 교훈은 단순히 책임 위험을 초래하는 것을 넘어, 자원의 잘못된 배분, 실패한 이니셔티브, 경쟁력 약화, 고객 신뢰 상실로 이어집니다. 앞서 제시된 권고사항(설계 검증, 인간과 자동화된 감독의 결합, 전문성에 대한 투자, 학습 내용의 면밀한 검토)은 단순히 책임 있는 AI 프로그램에 대한 이상적인 추가 사항이 아닙니다. 이는 효과적인 전략적 관리를 위한 전제 조건입니다.