AI 시대의 책임에 대한 재고

2018년 어느 이른 아침, 자율주행 우버 차량 치명적으로 보행자를 충격했습니다 애리조나주 템피에서. 세상은 의문을 품었다: 누가 책임을 져야 하는가? 운전석에 있던 안전 운전자였을까? 알고리즘을 설계한 엔지니어들? 우버의 경영진? 아니면 자율주행차 테스트를 허용한 규제 기관? 단 한 명의 가해자를 지목할 수 없다는 사실은 지능형 기술 시대에 책임을 어떻게 이해하고 귀속시켜야 하는지에 대한 근본적인 변화를 시사했다.

조직이 드론, 트레이딩 봇, 또는 알고리즘 기반 의사결정 시스템(예: 자동 이력서 심사기나 신용 평가 도구)과 같은 점점 더 자율적인 시스템을 도입함에 따라, 행위 주체성은 분산되어 인간과 기계 행동의 복잡한 상호작용에서 발생하게 됩니다. 한때 선형적이고 추적 가능했던 결정들은 이제 인간과 인공지능 시스템의 네트워크를 통해 전개되며, 새로운 형태의 영향력과 예측 불가능성을 도입합니다.

오늘날의 리더들에게 이는 옛날처럼 가해자를 찾는 방식이 더 이상 유효하지 않음을 의미한다. 진정한 도전은 비난을 돌리는 것이 아니라 공동의 서사를 구축하는 데 있다. 즉, 무엇이 잘못되었는지뿐만 아니라 집단적 활동, 가정, 기술이 어떻게 결과를 형성했는지를 밝혀내는 것이다. 최근 우리의 연구에 따르면, 출판됨 MIS Quarterly조직 학습과 회복탄력성을 구축하는 것은 결정이 어떻게 이루어지고 책임에 대한 이야기가 어떻게 구성되는지에 대한 협력적 재검토에 달려 있습니다. 우리는 이 과정을 서사적 책임.

고전적 책임 모델이 더 이상 작동하지 않는 이유

고전적 책임 이론은 세 가지 핵심 가정에 기반해 왔다. 세상은 근본적으로 선형적이며, 사건들이 명확한 인과관계 논리를 따른다는 점, 의사 결정자들이 공유된 시공간에서 행동하여 행동과 결과 간의 연결을 추적 가능하게 한다는 점, 그리고 책임이 의도와 선택이 결과를 이끄는 개인에게 정확히 소급하여 귀속될 수 있다는 점이 그것이다.

이러한 가정과 일관되게, 문제가 발생했을 때 조직은 종종 고위 리더에게 개인적 책임을 묻는 전통적인 책임 모델을 시행한다. 예를 들어, 2018년과 2019년 보잉 737 MAX 항공기의 두 차례 치명적 추락 사고로 346명이 사망한 후, 데니스 뮬렌버그 CEO 위기 상황에 대한 가시적인 대응으로 신속히 해고되었다. 그러나 이러한 조치와 후임자의 문화 변화 약속에도 불구하고 근본적인 품질 및 안전 실패는 지속되었으며, 결국 2024년 737 MAX 기종의 도어 플러그가 비행 중 분리되는 사고와 또 다른 CEO의 퇴임으로 이어졌다. 한 개인을 제거하는 것만으로는 조직 실패의 더 깊고 복잡한 원인을 해결하기 어렵다.

이러한 책임 접근 방식은 디지털 기술이 등장하기 전부터 항상 한계에 직면해 왔다. AI와 자동화 시대에 새롭게 등장한 점은 의사 결정이 훨씬 더 빠르고 복잡하며 불투명해지고 있다는 사실이며, 이로 인해 기존의 책임 모델은 그 어느 때보다 유지되기 어려워지고 있다.

2022년 오리건주에서 발생한 아마존 프라임 에어 배송 드론 추락 사고를 예로 들어보자. 공식 보고서는 기술적 또는 운영자 오류에 초점을 맞추었지만, 실제로 이러한 사고에 대한 책임은 코더, 승인 팀, 운영 또는 프로젝트 관리자에게 본질적으로 분산되어 있다. 행동과 결과는 기존 책임 모델로는 전혀 다룰 수 없는 방식으로 분산되어 있다.

이러한 도전은 비난에서 서사적 책임으로 전환하는 새로운 접근 방식을 요구한다.

서사적 책임을 현실로 만들기: 세 가지 실행 가능한 조치

서사적 책임을 이론에서 실천으로 전환하려면 리더가 책임이 어떻게 구성되고 유지되며 경험되는지 재구성하여 모든 사건이 집단 학습과 지속적인 개선을 위한 촉매제가 되도록 해야 한다. 이러한 전환을 이루기 위해 조직은 모든 수준에서 서사적 책임을 내재화해야 한다. 리더가 서사적 책임의 원칙을 실행에 옮기는 방법은 다음과 같다:

1. 명백한 것 너머의 실제 이야기를 매핑하라. 사건 발생 후 기술적, 법적 또는 관리적 차원의 조직 검토는 종종 종결과 조치를 가능하게 하는 일관된 인과 관계 설명으로 수렴하는 경향이 있다. 이러한 수렴은 일반적이고 종종 필요하지만, 안정화된 설명을 논쟁적이거나 모호한 설명보다 우선시함으로써 책임의 범위를 좁힐 수 있다. 서사적 책임 접근 방식은 기존 감사를 거부하지 않고, 조직의 스토리텔링, 의사 결정 근거, 그리고 시간이 지남에 따른 침묵을 통해 책임이 어떻게 구성되고, 예측되며, 분산되고 점차 고정되는지에 주목함으로써 이를 보완한다.

2024년 초 구글의 제미니 이미지 생성 실패에 대한 대응은 부분적인 모델을 제공한다. 도구가 역사적으로 부정확한 이미지를 생성했을 때, 구글은 상세한 공개 설명을 발표하여 근본 원인이 결함 있는 다양성 튜닝과 잘못된 모델 행동에 있음을 추적했다. 한편, 내부 메모에서 CEO 순다르 피차이는구조적 변화, 개선된 출시 프로세스, 확장된 레드팀 활동을 약속했다. 이는 진정한 스토리 매핑, 즉 무엇이 잘못되었고 그 이유를 명명한 것이었다.

그러나 더 포괄적인 검토는 빠른 출시 압력, 신중한 테스트를 억제하는 조직적 인센티브, 그리고 알려진 위험과 출시 결정 사이의 간극을 고려해야 할 요소로 식별했을 수도 있다. 실제 이야기를 매핑한다는 것은 기술적 사후 분석을 넘어 실패를 처음에 가능하게 한 인간적, 조직적 역학을 표면화하는 것을 의미한다. 이는 개인의 실수나 깨진 코드를 넘어 가정, 데이터, 조직적 루틴이 어떻게 상호 작용하는지, 그리고 모호함, 관련 예측의 부재, 정렬 불일치가 어디에서 뿌리를 내리는지 이해하는 것을 의미한다.

2. 비난이 아닌 소유권을 분산하라. 오늘날의 복잡한 AI 기반 조직에서 결정과 결과는 단일한 통제에서 나오지 않고 시간이 지남에 따른 역동적인 상호 작용에서 발생하므로, 집단적이고 분산된 책임 개념이 필요하다. 진정한 책임은 팀과 기능 전반에 걸친 지속적인 참여와 의미 형성에 달려 있다. 너무 자주 무시되거나 표출되지 않은 경고나 반대가 적극적인 실수만큼 큰 역할을 한다.

미래 지향적인 조직은 운영 위원회, 사건 검토 패널, 추적성 시스템, 교차 기능 자문 그룹과 같은 공식 구조를 만들어 서사적 책임을 제도화하고 있다. 이러한 포럼은 모든 수준의 직원이 무슨 일이 일어났는지 반성하고, 어려운 진실을 말하며, 사건이 어떻게 전개되었는지 집단적으로 재구성할 수 있는 개방적이고 심리적으로 안전한 공간으로 설계되었다. 의료 분야에서는 이러한 전환이 이미 진행 중이다. 예를 들어 UCLA Health는 훈련된 문화 챔피언과 사건 검토 위원회 네트워크를 구축하여 부작용을 조사하고 조직 전반의 체계적 패턴을 표면화하며 개선을 추진하고 있다. 항공 분야는 이러한 집단 학습 접근 방식의 입증된 모델을 제공한다. 자동화 관련 실패 후, 에어프랑스, KLM과 같은 항공사는 유럽연합 항공안전청 규정에 따라 안전 관리 시스템의 일환으로 다학제 패널을 소집한다. '정의로운 문화' 원칙에 부합하는 이 패널은 비난이 아닌 교훈 도출과 체계적 적응에 초점을 맞춘다. 이 접근 방식은 항공사 안전과 고객 신뢰를 입증 가능하게 강화했다.

3. 일상적인 실천에 성찰을 내재화하라. 서사적 책임이 번성하려면 위기 후에만 실천되어서는 안 되며, 조직의 일상이 되어야 한다. 팀이 일상 운영과 AI와 같은 기술 사용 전반에 걸쳐 책임에 대한 이야기가 어떻게 구성되고 재구성되는지 습관적으로 검토할 때 지속 가능한 학습이 나타난다.

일부 조직은 정기 회의에 서사적 검토 지점을 추가하여 '우리는 무엇을 배웠는가?', '우리의 가정이나 프로세스는 어디에서 실패했는가?', '우리의 행동이 결과에 어떻게 기여했는가?'와 같은 질문을 한다. (예를 들어, 구글의 책사이트 신뢰성 엔지니어링의 '사후 분석 문화: 실패로부터 배우기' 장을 참조하라.)다른 조직은 사고 후뿐만 아니라 지속적인 실천으로 관리 보고서에 책임 서사를 정기적으로 포함시켜, 배운 교훈을 지속적인 학습을 지원하는 살아있는 문서로 전환한다. ING Bank, 예를 들어, 정기적인 검토와 "회고적 학습 세션"을 자체 애자일 루틴에 직접 통합했습니다. 각 스프린트 후에 팀은 무엇이 잘 되었는지, 무엇을 개선할 수 있는지, 그리고 중요한 사건에서 얻은 교훈이 향후 작업에 어떻게 반영될 수 있는지 논의하여 핵심 통찰력이 일상 운영을 윤리 및 위험에 대한 광범위한 논의와 연결되도록 합니다.

세 가지 원칙이 실행되면, 일상 운영뿐만 아니라 조직이 모든 수준에서 실패에 집단적으로 대응하는 방식도 재구성됩니다. 우버의 비극적인 자율주행차 사고에 대한 첫 번째 예로 돌아가면, 공식적인 대응은 개인의 과실에 초점을 맞췄습니다. 안전 운전자가 기소되었고, 우버는 자율주행차 프로그램을 중단했습니다. 그러나 우리가 아는 한, 설계 결정, 안전 문화, 규제 공백과 같은 조직적 및 시스템적 요인은 공식 조사 에서 광범위하게 문서화되었지만, 이후의 공개 및 사법적 대응에서는 제한적인 주목을 받았습니다. 내러티브 책임 접근 방식(모든 이해관계자와 관련 기술을 포함한 실제 이야기를 매핑하고, 비난을 넘어 소유권을 분산하며, 지속적인 성찰을 내재화하는 방식)은 모든 주요 행위자들이 예상 및 실현된 결과를 형성한 요소를 집단적으로 검토하도록 초대했을 것입니다. 이것이 과거의 피해를 되돌리지는 못했겠지만, 더 깊은 교훈을 표면화하고, 더 의미 있는 책임을 가능하게 하며, 미래를 위한 더 체계적인 변화를 이끌어낼 수 있었을 것입니다.

비난에서 공유된 내러티브로

내러티브 책임을 유지하려면 산발적인 이니셔티브 이상이 필요합니다. 이는 조직의 DNA의 일부가 되어야 합니다.

기업이 AI 에이전트를 도입함에 따라, 더 이상 규정 준수 팀이나 소급 감사에 의존하여 책임을 할당할 수 없습니다. 대신, 조직 내러티브를 함께 구성하고, 질문하며, 진화시킴으로써 책임의 공유된 관행을 확립하는 것은 모든 리더와 팀에게 전략적이고 미래 지향적인 필수 과제입니다.

내러티브 책임을 수용하는 것은 오늘날 조직에 중요하지만, 만병통치약은 아닙니다. 특히 리더가 이야기를 통제할 때 이 과정이 책임을 분산시키거나 모호하게 만드는 데 사용된다면 실제 위험이 있습니다. 이는 법적 또는 규제적 의무를 대체할 수 없습니다. 유럽연합의 AI 법 과 같은 프레임워크는 여전히 필수적인 안전장치입니다. 그리고 책임이 조직 전체에 분산될 때, 공유된 책임을 구축하는 것은 복잡하며 의도적인 개방성과 협력을 요구합니다. 내러티브 책임이 변혁적이기 위해서는 강력한 윤리적 및 법적 기준을 보완해야 하며, 결코 대체해서는 안 됩니다.

#재고 #책임 #시대