데이터 공정성을 위한 업계 벤치마크: 소니의 앨리스 시앙

오늘 에피소드에서는 나, 나 자신, 그리고 AI소니의 AI 거버넌스 글로벌 책임자이자 소니 AI의 AI 윤리 선임 연구 과학자인 앨리스 시앙이 책임 있는 인공지능을 실제로 대규모로 실천하는 데 필요한 것이 무엇인지에 대해 호스트 샘 랜스보텀과 이야기합니다. 앨리스는 소니가 AI 윤리에 일찍 나서게 된 배경과 AI가 제품과 워크플로우 전반에 확산됨에 따라 원칙이 아닌 거버넌스가 현재 진정한 도전 과제가 된 이유를 공유합니다. 대화는 소니의 공개적이고 윤리적으로 출처가 명확한 컴퓨터 비전 편향 평가 벤치마크인 FHIBE와 공정성 측정이 수정보다 종종 더 어려운 이유를 깊이 파고듭니다. 그 과정에서 데이터 동의, '데이터 허무주의', 그리고 일상적이고 고위험적인 맥락에서 편향된 시스템을 배포할 때의 매우 현실적인 위험을 다룹니다.

구독하기 나, 나 자신, 그리고 AI ~에 애플 팟캐스트 또는 스포티파이.

성적 증명서

앨리슨 라이더: 한 대기업이 무료로 공개적으로 사용 가능한 데이터 공정성 도구를 만들기로 결정한 이유는 무엇일까요? 오늘 에피소드에서 알아보세요.

앨리스 시앙: 저는 소니의 앨리스 시앙입니다. 지금 듣고 계신 것은 나, 나 자신, 그리고 AI.

샘 랜스보텀: 에 오신 것을 환영합니다 나, 나 자신, 그리고 AI, 님의 팟캐스트 MIT 슬론 경영 리뷰 인공지능의 미래를 탐구하다. MIT SMR 2014년부터 연구 기사, 연례 산업 보고서, 사례 연구, 그리고 현재 13개의 시즌 팟캐스트 에피소드를 제공해 왔습니다. 각 에피소드에서 기업 리더, 최첨단 연구자, AI 정책 입안자들이 함께하여 AI 과대광고와 AI 성공을 구분하는 요소를 분석합니다.

안녕하세요, 청취자 여러분. 다시 한번 함께해 주셔서 감사합니다. 오늘은 소니의 AI 거버넌스 글로벌 책임자이자 소니 AI의 AI 윤리 선임 연구 과학자인 앨리스 시앙과 이야기합니다. 그녀는 소니의 모든 사업 부문에 걸쳐 AI 거버넌스 정책 및 프레임워크 수립을 안내하는 팀을 이끌고 있습니다. 그녀는 연구 과학자였으며 그 외에도 많은 역할을 해왔습니다. 앨리스, 함께해 주셔서 감사합니다.

앨리스 시앙: 초대해 주셔서 정말 감사합니다.

샘 랜스보텀: 먼저, 몇 년 전 파트너십 온 AI에 계셨을 때 처음 이야기 나눴던 것 같아요. 지금 무엇을 하고 계신지 궁금합니다. 소니의 책임 있는 AI 윤리 및 거버넌스에 대한 작업에 대해 말씀해 주시겠어요?

앨리스 시앙: 물론입니다. 소니는 일본에 본사를 둔 대규모 다국적 기업으로, 크리에이티브 엔터테인먼트와 기술 분야에서 다양한 사업을 운영하고 있습니다. 음악, 영화, 비디오 게임, 전자제품에 특화된 운영 회사들이 있습니다. AI는 2018년에 처음 AI 윤리 가이드라인을 수립하면서 초기부터 우리의 주요 관심사가 되었습니다. 기술 회사로서 우리는 이 새롭고 떠오르는 기술이 사업 부문 전반에서 책임감 있게 사용되도록 보장하고자 했기 때문입니다. 실제로 그 이후로 AI는 우리 회사에서 더욱 중요해졌습니다.

저는 소니에서 두 가지 역할을 맡고 있습니다. 하나는 AI 거버넌스 글로벌 책임자입니다. 지난 몇 년 동안 우리는 AI 윤리에 투자하기 시작한 초기 기업 중 하나였습니다. 제가 합류했을 때, AI 윤리 사무소와 다양한 AI 사용 및 제품과 서비스에 AI 통합이 책임 있는 AI를 위해 어떻게 평가되는지에 대한 프로세스를 수립했습니다.

이제 우리는 AI 윤리뿐만 아니라 AI 거버넌스에 대해서도 고민하는 단계에 와 있습니다. 즉, 비즈니스의 모든 측면에 점점 더 통합되고 있는 이러한 기술의 책임 있는 평가를 보장하기 위한 프레임워크를 어떻게 수립할 것인가 하는 것입니다.

이것이 제가 맡은 한 가지 역할, 즉 정책 수립, 지침 설정 등입니다. 다른 하나는 소니 AI 내에서 AI 윤리 연구 팀을 이끄는 것입니다. 지난 몇 년 동안 제 팀의 많은 작업은 실무자들이 실제로 책임 있는 AI를 개발하는 데 직면하는 근본적인 격차와 장벽을 살펴보는 데 초점을 맞추어 왔습니다. 주요 영역 중 하나는 모델의 편향을 확인하는 것과 같은 아주 기본적인 작업조차도 윤리적으로 출처가 명확한 데이터가 부족하다는 점입니다. 인간 중심 컴퓨터 비전과 같은 많은 영역에서 훌륭한 공정성 평가 데이터 세트가 실제로 없습니다. 그래서 우리는 그 분야에서 많은 작업을 해왔고, 최근에는 자연 공정한 인간 중심 이미지 벤치마크(FHIBE)라는 논문을 발표했습니다. 우리는 이 작업이 소니 내부와 외부의 더 넓은 커뮤니티가 더 신뢰할 수 있고 책임 있는 AI 개발로 나아갈 수 있도록 돕기를 진심으로 바랍니다.

샘 랜스보텀: FHIBE 작업을 보고 꽤 흥분했습니다. 매우 흥미롭다고 생각합니다. 확실히 문제입니다. 몇몇 사람들이 이 문제를 해결하기 위해 노력하고 있어서 기쁩니다. 자세한 내용을 알려주세요. FHIBE에 정확히 무엇이 포함되어 있으며, 구성 요소는 무엇이고, 내일 사용하려면 어떻게 해야 하나요?

앨리스 시앙: 정말 흥미롭습니다. 제가 처음 컴퓨터 비전 분야의 AI 윤리 영역에 들어갔을 때, 제 역할의 많은 부분이 사람들이 공정성 평가를 정확히 어떻게 수행하는지 돕는 것이라고 생각했습니다. 공정성을 어떻게 측정할 것인가, 공정성이 무엇을 의미하는가, 편향이 있을 때 어떻게 해야 하는가 등 상당히 어려운 영역입니다. 하지만 사람들이 직면하는 가장 큰 초기 장벽은 단지 편향을 평가할 수 있는 능력이라는 것을 깨달았습니다. 이론적으로는 윤리적으로 출처가 명확한 데이터 세트가 필요합니다. 즉, 데이터 수집 과정 전반에 걸쳐 적절한 동의와 보상 및 출처가 있어야 하며, 데이터 수집 과정에 참여한 모든 사람이 적절한 보상을 받고 자신의 데이터 사용에 동의했으며 데이터 사용 방식에 대한 통제권을 가지고 있어야 합니다. 또한 특히 편향 평가의 경우, 매우 다양하고 이상적으로는 전 세계적으로 다양한 데이터 세트를 원합니다. 편향을 확인하려고 하는데 모든 대상이 예를 들어 밝은 피부를 가지고 있다면, 모델이 어두운 피부 톤에서도 잘 작동하는지 실제로 알 수 없기 때문입니다.

따라서 여기에 무엇이 필요한지 말하는 것은 매우 쉬웠지만, 실제로 사용 가능한 다양한 데이터 세트를 살펴보면 해당 분야의 기준이 상당히 낮다는 것이 밝혀졌습니다. 컴퓨터 비전은 딥러닝 혁명에서 중요한 역할을 한 분야이며, 그 일부는 동의와 보상에 대한 고려 없이 대규모로 비교적 저렴하게 출처를 확보할 수 있는 웹 스크래핑 데이터 세트였습니다.

이 분야가 발전한 지 수년이 지났고 기술은 점점 더 좋아졌지만, 문제가 있는 출처의 데이터 세트에 의존하는 이러한 기본적인 방식은 크게 변하지 않았습니다. 지난 몇 년간 우리의 많은 작업은 '실제로 이것을 어떻게 실행할 것인가?'에 대해 깊이 생각하는 것이었습니다. '전 세계 사람들로부터 데이터를 수집하고, 동의를 구하고, 보상하고, 다양한 유형의 AI 모델을 확인하는 데 사용할 수 있는 엄격한 벤치마크를 만드세요'라고 말하는 것은 매우 쉽지만, 실제로 실행하는 것은 말하는 것보다 훨씬 어렵습니다. 이것이 우리 프로젝트의 많은 부분이었습니다.

샘 랜스보텀: 항상 그런 경우인 것 같아요. 아무도 '저는 비윤리적이고 싶고, 우리 회사가 끔찍한 거버넌스를 갖도록 합시다'라고 나서서 말하지 않는다고 생각합니다. 어떤 면에서는 데이터 정리와 비슷합니다. 모든 사람이 깨끗한 데이터를 원한다는 것을 알지만, 말은 쉽고 실행은 어렵습니다.

편향 측정부터 시작해 보겠습니다. 이것이 기업 환경에서 실수 측면에서 어떻게 나타납니까?

앨리스 시앙: 좋은 질문입니다. 대부분의 경우, 편향에 대한 인식은 실제로 측정하고 완화하는 좋은 관행보다 훨씬 더 많다고 생각합니다. 사람들이 이것을 하지 않을 때, 결국 특정 하위 집단에 대해 잘 작동하지 않을 수 있는 기술이 출시됩니다. 특히 감시, 법 집행 맥락뿐만 아니라 휴대폰 잠금 해제, 휴대폰 결제, 국경 출입과 같은 일상적인 맥락에서 사용되는 인간 중심 컴퓨터 비전 영역에서 그렇습니다.

이러한 모든 영역에서 기술이 잘 작동하지 않으면 최소한 불편을 초래합니다. 휴대폰을 여러 각도에서 여러 번 봐야 인식할 수도 있습니다. 그러나 이는 금융 사기에서부터 잘못된 체포에 이르기까지 훨씬 더 문제가 되는 영향으로 이어질 수 있습니다. 모든 사람이 이것이 문제라는 것을 알고 있으며, 모든 사람이 개선하기를 원합니다. 아무도 이러한 기술이 사람들에게 제대로 작동하지 않기를 실제로 원하지 않습니다. 그러나 편향을 측정하는 좋은 방법이 없다면, 이를 완화하려고 시도할 방법도 없습니다.

샘 랜스보텀: 가능한 나쁨의 범위가 마음에 듭니다. 모든 작은 문제들의 사회적 비용을 합산하면 휴대폰을 한 번 보는 대신 세 번 보는 데서 발생하는 총 생산성 손실과 같은 어리석은 것에서 큰 숫자가 나와도 놀라지 않을 것입니다. ... 여기서 이야기를 하나 해보겠습니다. 제가 수업에서 하는 것 중 하나는 별 배꼽을 가진 스니치 데이터 세트를 사용하는 것입니다. 기억하시나요? 별 배꼽 스니치 닥터 수스의 작품에서요. 우리는 별이나 별이 없는 것을 차별하지 않습니다. 데이터 세트의 데이터를 상호 연관시켜 별을 무시하더라도 결국 편향된 데이터가 나온다는 것을 보여줍니다.

제 수업 과제를 도와주세요. 결국 별 배꼽의 별을 무심코 사용하는 편향된 모델을 많이 만들게 됩니다. 학생들은 거기서 무엇을 해야 할까요? 듣고 있는 학생 여러분, 이것을 따라 하지 마세요.

앨리스 시앙: FHIBE가 이러한 상황에서 어떻게 도움이 될 수 있는지에 대해, 예를 들어 FHIBE에는 두 가지 주요 구성 요소가 있습니다. 하나는 제가 앞서 잠시 이야기한 동의와 보상에 관한 윤리적 출처 확보 구성 요소입니다. 다른 하나는 다양한 인구 통계 속성 및 기타 속성에 대한 광범위한 다양성과 레이블을 확보하는 것입니다. FHIBE의 몇 가지 주목할 만한 측면은 자가 보고된 인구 통계 정보를 사용하여 레이블의 정확성을 높이고, 제3자 주석자가 예를 들어 이 사람이 이 조상인지 저 조상인지, 이 성별인지 저 성별인지 추측하는 데 의존하지 않도록 한 점입니다. 이는 매우 빠르게 까다로운 상황으로 이어질 수 있습니다.

자가 보고된 인구 통계는 정말 핵심이었습니다. 또한 환경, 사람의 기타 신체적 속성, 사용된 카메라 등 모든 종류에 대한 광범위한 주석이 있었습니다. 이를 통해 우려할 수 있는 관련 편향 유형을 더 세분화하여 분석할 수 있을 뿐만 아니라, 더 세부적인 수준에서 근본적인 원인이 무엇인지 진단할 수 있습니다. 예를 들어, 컴퓨터 비전 분야의 사람들과 이야기할 때 피부 톤과 같은 경우, 피부 톤 자체일 수도 있고 배경과의 대비 문제일 수도 있습니다. 누군가의 인종이나 성별이 시각적 요소로 나타나 모델의 성능을 좋게 또는 나쁘게 만드는 다양한 방식이 있습니다. 이는 사람들이 모델을 개선하는 방법을 파악하는 데 매우 유용합니다.

귀하의 예시를 통해, 우리는 어떤 생명체는 배에 별이 있고 어떤 생명체는 없는지 알고 싶습니다. 그래야 그들이 어떻게 다르게 대우받고 있는지 확인할 수 있기 때문입니다. 하지만 그 차원만이 아닙니다. 우리는 다른 많은 차원들도 보고 싶으며, 그런 다음 "좋아요, 모델의 성능에서 이러한 차이점이 나타나는 이유는 무엇일까요? 왜 모델은 별이 있는 경우와 없는 경우에 대해 그렇게 어려움을 겪는 걸까요?"라고 말할 수 있어야 합니다. 그리고 그 지점에서부터 추가 개선을 위한 방향으로 나아가야 합니다.

샘 랜스보텀: 여러 가지 다른 점을 지적하시는 것 같아 마음에 듭니다. 우리가 이런 것들에 대해 이야기할 때, 종종 "아, 더 많은 데이터를 확보하자"는 방향으로 흘러가곤 합니다. 물론 더 많은 데이터를 확보하는 것 자체는 잘못된 것이 없습니다. 우리 모두 더 많은 데이터를 원한다고 생각합니다. 하지만 항상 실용적이거나 가능한 것은 아닙니다. 실제로 데이터를 확보하는 방식과 관련된 윤리적 문제의 완전히 다른 범주를 언급하셨습니다. 그것 또한 사실입니다.

하지만 여기서 지적하시는 한 가지는 모델러들이 실제로 몇 가지 기술적 개선을 할 수 있다는 점입니다. 우리가 "좋아요, 포기하겠습니다. 그냥 가지고 있는 데이터를 사용하고 모델러들이 알아서 해결하게 두자"고 말하고 싶지 않습니다. 그것은 결코 좋은 해결책이 아닙니다. 하지만 여기서 당신은 약간의 희망을 제시하고 계시며, 그것이 바로 FHIBE의 일부 목적이라고 생각합니다: 모델러들이 작업할 수 있는 더 나은 데이터 세트를 제공하는 것입니다. 사람들이 이것을 채택하여 사용하기 시작하는 것을 보셨나요?

앨리스 시앙: 네, FHIBE 출시 후 첫 몇 주 만에 많은 훌륭한 채택 사례를 보았습니다. 60개 이상의 다양한 기관이 다운로드했습니다 — 학계, 산업계, 정부 기관의 사람들이었습니다. FHIBE 사용에 관심을 가진 다양한 분야의 사람들을 보는 것은 정말 좋았습니다. 우리의 희망은 이것이 전반적인 책임 있는 데이터 수집에 관한 기준을 높이는 업계 벤치마크가 되는 것입니다. 따라서 미래의 데이터 세트가 훈련용으로 수집되든 평가용으로 수집되든, 공정성 중심이든 아니든, 그리고 가장 즉각적으로는 모델을 확인하기 시작할 수 있도록 하는 데 있어서도 마찬가지입니다. 공정성 평가는 모델 개선 방법에 대한 다양한 경로를 열어주기 때문에 매우 힘을 실어줄 수 있다고 생각하기 때문입니다. 말씀하신 것처럼 더 많은 데이터를 수집하는 측면에서 가능성이 있습니다.

모델의 손실 함수, 최적화 대상, 다양한 그룹에 대해 조금 더 최적화하도록 훈련하는 방법, 따라서 더 균형 잡힌 성능을 얻는 방법에 대해 생각해볼 가능성도 있습니다. 비기술적 측면에서도 가능성이 있습니다. 예를 들어, 특정 조명 조건에서 모델이 잘 작동하지 않는다면, 특정 다운스트림 용도에 해당 모델을 사용하지 않거나, 완화 조치를 시도할 수 있습니다. 예를 들어, 장치에 있는 경우 해당 장치가 작업을 수행하기 전에 조명을 비추는 손전등 같은 것이 있을 수 있습니다. 따라서 완화 측면에서 이러한 모델이 실제 시스템에 구현된 것으로 생각하는 것이 항상 좋습니다. 모델 자체의 문제만이 아니라, 그 주변의 모든 것이 사용 사례의 윤리성에 영향을 미치기 때문입니다.

샘 랜스보텀: 그 점이 마음에 듭니다. 대부분의 사람들이 당신이 나서서 "좋아요, 편향과 공정성을 해결할 마법 같은 답이 여기 있습니다. 이 벤치마크를 사용하세요"라고 말해주길 원할 것이기 때문입니다. 당신이 지적하는 것은 각각이 불완전할 것이라고 추측되는 다양한 완화 전략들입니다. 장치에 손전등을 달면 아마 도움이 되겠지만 완전히 해결되지는 않을 것입니다. 하지만 이런 것들을 충분히 결합하면 개선이 이루어집니다. "아, 문제를 해결했다"는 것이 아니라, 그 방향으로 몇 걸음 나아간 것입니다.

사실, 그 말을 들으니 어떤 문구가 생각나네요. 당신이 이야기했던 것을 읽고 있었는데 — 데이터 허무주의. 그 기사를 읽지 않은 청취자들을 위해 그것이 무엇을 의미하는지 간단히 이야기해 주시겠어요? 그리고 그것을 방금 말씀하신 내용과 연결지을 수 있을 것 같습니다.

앨리스 시앙: 우리가 처음 FHIBE를 시작했을 때는 AI 윤리 문제와 같았습니다. 동의와 보상을 포함한 모든 윤리적 요구 사항을 모았습니다. 그리고 당시에는 주류에서 AI 모델을 위한 데이터의 윤리적 조달에 대한 논의가 많지 않았다고 말할 수 있습니다.

하지만 요즘에는, 특히 생성형 AI 혁명 이후로 그 논의가 많이 성장했습니다. 이제 모든 사람들은 자신의 데이터와 콘텐츠가 어딘가에서, 어떻게든 AI 모델에 의해 흡수되고 있다는 사실을 매우 의식하고 있습니다. 이것은 데이터 허무주의로 이어질 수 있습니다. 사람들은 "좋아요, 우리는 이 초강력 모델을 가지고 있거나, 아니면 이쯤에서 상자는 이미 열렸고 우리는 모든 데이터 권리를 포기해야 합니다. 통제권을 포기해야 합니다. 아니면 상황을 되돌리려고 시도하지만, 그것은 불가능할 수도 있습니다."라고 느끼게 됩니다.

이것이 제가 데이터 허무주의라고 말하는 것입니다. 우리가 기술을 가질 수도 있고 데이터에 대한 통제권을 가질 수도 없는, 갇힌 이분법적 느낌입니다. FHIBE에 대해 정말 주목할 만한 점은 우리가 데이터를 더 윤리적인 방식으로 조달할 수 있다는 것을 보여주고자 했다는 것입니다. 분명히 더 어렵고 비용이 많이 들지만, FHIBE는 적어도 어느 정도 규모에서 이것이 가능하다는 개념 증명이었습니다. 현재 AI 분야에서 일하는 수많은 뛰어난 인재들이 있기 때문에, 이러한 관행이 중요하다고 여겨진다면, 우리는 이를 확장하고 이러한 기술이 개발되는 방식을 바꾸며, 그 과정에서 더 많은 데이터 권리를 보존할 방법을 찾을 수 있을 것입니다.

샘 랜스보텀: 이해합니다. "이미 다 나와 있어요. 내 이미지는 이미 나와 있어요. 모든 것이 이미 나와 있어요."라는 생각 말이죠. 하지만 우리 모두 그 방향으로 조금씩 진전을 이룰 수 있습니다. 그리고 모두가 조금씩 기여하면 도움이 될 수 있습니다. 그 전체적인 메시지가 마음에 듭니다. 이것이 소니 제품에는 어떻게 반영되나요?

앨리스 시앙: FHIBE는 소니 전반에서도 사용되고 있습니다. 출시 전에도 컴퓨터 비전 기술을 개발하는 여러 사업 부서에서 테스트했습니다. 이는 그들이 공정성 평가를 더 많이 수행할 수 있게 하는 중요한 도구가 되었습니다. 그렇게 함으로써 우리는 그런 진단을 수행하고, 이러한 모델의 실패 모드가 있는지 확인한 다음, 가능한 완화 전략 측면에서 함께 작업할 수 있습니다. 이것을 보게 되어 정말 좋았습니다. 다시 말하지만, FHIBE를 공개적으로 출시한 것은 업계 전반에서 이런 일이 일어나도록 장려하기 위한 것이며, 이 문제에 더 많은 관심을 기울이고 사람들이 "네, 이 모델들이 출시되기 전에 개선할 수 있는 부분이 있을 수 있겠네요"라고 깨닫도록 하는 데 도움이 되기를 바랍니다. 결국 이것이 업계 표준이 되기를 바랍니다. 현재 매우 어려운 점 중 하나는 ... 이러한 평가를 항상 수행해야 한다는 요구 사항이 없기 때문에, 개별 사업 부서나 회사가 이 문제에 관심을 갖고 편향을 평가하기로 결정하는 데 달려 있다는 것입니다.

샘 랜스보텀: 마지막 요점은 매우 중요합니다. 누군가에게 "올바른 일을 하고 싶습니까?"라는 설문지를 주면 모두가 "예"라고 체크하겠지만, 결국 우리 모두는 시간과 자원에 제약을 받습니다. 저는 게으르다는 것을 인정합니다. 지름길이 있다면 "왜 그 길로 가지?"라고 말할 것입니다. 커뮤니티 내에서 그냥 나와 있고 방치된 데이터를 사용하는 것이 확실히 지름길이었습니다. 제 생각에 당신이 한 일 중 하나는 그것을 쉽게 만드는 방향으로 나아간 것입니다. 이전 게스트가 있었는데, Ziad Obermeyer씨였습니다. 그는 의료 데이터를 다루고 있었습니다. 일반인이 모델을 구축하기 위해 많은 의료 데이터를 얻는 것은 매우 어렵고, 그의 생각은 [그의 비영리 단체인] Nightingale Open Science가 데이터를 수집하여 데이터 문제 해결과 데이터 소싱 문제 해결을 분리하는 것이었습니다. 그것이 당신이 한 일의 많은 부분입니다.

FHIBE가 주로 이미지 정보에 초점을 맞추고 있다고 말씀하셨습니다. 음성, 소리, 기타 양식은 어떻습니까? 그것들에 대해 어떻게 생각해야 할까요?

앨리스 시앙: 우리는 FHIBE를 이미지 인식에 맞춰 배치했습니다. 왜냐하면 그것이 가장 민감한 영역 중 하나이기 때문입니다. 이미지에는 너무 많은 생체 정보, 기타 개인 식별 정보가 포함되어 있으며, 이미지에 대한 지적 재산권도 특히 중요합니다. 따라서 음성과 같은 다른 양식에서도 녹음되는 개인의 동의와 관련하여 유사한 문제와 고려 사항이 있으며, 특정 맥락에서는 저작권 고려 사항도 있을 수 있습니다.

하지만 저는 FHIBE가 발생할 수 있는 많은 윤리적 문제들의 상위 집합을 어느 정도 취했다고 봅니다. 그리고 대부분의 다른 양식에서는 그 하위 집합을 더 많이 보게 될 것입니다. 따라서 이를 적용하기 위해서는 분명 더 많은 연구가 필요하겠지만, 동의, 보상, 프라이버시, 지적 재산권 다양성, 공정성과 같은 일반적인 개념들은 높은 수준에서 이러한 다양한 맥락에 적용될 것입니다. 따라서 우리는 이 중 일부가 다른 양식으로 데이터를 수집하는 사람들에게도 재활용될 수 있기를 바랍니다.

샘 랜스보텀: 마음에 듭니다. 원칙적으로는 그냥 0과 1의 흐름일 뿐입니다. 그것을 어떻게 해석하는지는 대부분 우리에게 달려 있습니다. 아마도 제가 동기부여를 받은 이유는 제 아름다운 남부 억양을 인식하는 것이 없어서 전화 트리를 성공적으로 통과한 적이 없기 때문일 수도 있습니다. 하지만 그것은 제가 직면한 문제입니다. 아마도 다음 버전의 FHIBE가 그 문제를 해결하는 데 도움을 줄 때까지 기다려야 할 것 같습니다.

앨리스 시앙: 이러한 평가 데이터 세트에서 다양성이 얼마나 중요한지 보여주는 훌륭한 예입니다. 다양한 억양을 가진 사람들을 식별하는 방법, 그것들을 분류하는 방법, 그리고 전 세계뿐만 아니라 매우 특정한 지역에서도 그러한 다양성을 얻기 위해 소싱하는 방법, 그리고 그 위에 다양한 언어까지 겹쳐 있는 과제들도 상상할 수 있습니다.

확실히 매우 풍부한 연구 분야이기도 하며, FHIBE가 이러한 연구를 더 많이 고무하는 데 도움이 되기를 바랍니다. 왜냐하면 윤리적 데이터 수집의 현실은 상당 부분이 매우 어렵고 도전적인 작업이며, 이러한 수준의 운영화와 실제 세계의 과제에 대한 사고를 필요로 하기 때문입니다. 연구자들은 종종 이것을 꺼립니다. 모델이 실제로 학습하는 새로운 방법을 고안하는 것만큼 화려하지 않고, 알고리즘 개선은 일반적으로 개발 및 출판이 훨씬 빠르기 때문입니다 — 또는 항상 개발이 더 빠른 것은 아니지만, 적어도 사람들은 기술적 개선에 매우 흥분합니다.

그렇긴 하지만, 말씀하신 것처럼 책임 있는 AI에 대해 이야기할 때, "다양한 사람들로부터 데이터를 어떻게 수집합니까?"라는 실제 세계의 질문에 대해 실제로 생각하지 않으면 이러한 영역에서 진전을 이루기가 정말 어렵습니다.

샘 랜스보텀: 사실, 몇 주 전에 Wendy's에서 온 게스트가 있었습니다. 그는 그들의 드라이브스루 레스토랑에서 일하고 있었습니다. 모든 것이 음성 정보였습니다. Will Croushorn이 사람들이 말하는 방식에 얼마나 많은 다양한 변형이 있는지, 그리고 그 과정에서 많은 어려움에 직면했다고 이야기했던 것이 기억납니다. 하지만 다시 FHIBE로 돌아가자면, ... 그것은 거기서 따를 수 있는 좋은 프로세스의 예입니다.

여기서 잠시 전환하여 어떻게 그 지점에 도달했는지 이야기하고 싶습니다. 마지막으로 이야기했을 때 당신은 Partnership on AI에 있었습니다. 당신의 경력 경로와 어떻게 소니에 오게 되었는지, 그리고 어떻게 이런 것들에 관심을 갖게 되었는지 말씀해 주세요. 그 경로를 따라 우리를 안내해 주세요.

앨리스 시앙: 꽤 구불구불한 길이었던 것 같습니다. 전반적으로 제 배경은 매우 학제적입니다. 저는 수학과 경제학 쪽에서 시작하여 경제 정책 분야에서 일할 것이라고 생각했습니다. 그것이 제 주요 목표였습니다. 그리고 기술 회사에서 첫 근무를 하고 첫 번째 머신러닝 모델을 개발한 것은 저에게 매우 계몽적인 경험이었습니다. 그때 저는 알고리즘 편향 문제에 처음 관심을 갖게 되었습니다. 제가 직접 개발하고 있던 모델이 상당히 편향되어 있다는 것을 깨달았기 때문입니다.

데이터는 특정 지역에 치우쳐 있었습니다. 모델이 학습하는 내용은 그 지역의 사람들에게는 매우 합리적이었지만, 다른 지역에는 반드시 그렇지는 않았습니다. 그리고 그 일부는 제 개인적인 경험이기도 했습니다. 제가 접근할 수 있었던 데이터는 주로 동부 해안과 서부 해안의 사람들로부터 온 것이었고, 이것은 직업 관련 데이터였습니다. 애팔래치아 출신인 저는 그곳 사람들이 가진 경제적 기회가 상당히 다르다는 것을 알고 있었고, 이 데이터를 기반으로 구축된 어떤 모델도 제가 함께 자란 사람들에게는 최선의 방식으로 작동하지 않을 것이라는 것을 알았습니다. 그리고 그것은 저를 매우 걱정하게 했습니다. 회사에서 많은 사람들과 이에 대해 이야기했지만, 당시에는 알고리즘 편향이라는 분야가 존재하지 않았습니다. 지금으로부터 약 12년 전의 일입니다.

하지만 이로 인해 저는 이 분야에 큰 관심을 갖게 되었고, 방대한 양의 데이터를 통해 학습하는 이러한 신기술의 맥락에서 윤리와 정의에 대해 어떻게 생각해야 하는지 고민하게 되었습니다. 그리고 그게 제 경력을 기술 정책 분야, 특히 AI 및 알고리즘 공정성 분야로 이끌었습니다. 그래서 대학원 과정(법학, 통계학, 경제학 석사 학위를 취득했습니다)을 모두 마친 후, 로펌에서 잠시 일하다가 알고리즘 편향 문제에 집중하고 싶어서 Partnership on AI로 갔습니다. 그곳에서 이러한 분야에 초점을 맞춘 연구소를 설립했습니다. 곧 데이터 가용성 문제가 매우 중요해졌습니다.

알고리즘 공정성 관련 문헌을 살펴보면, 지표와 편향 측정 방법, 완화 방법에 많은 중점을 두고 있습니다. 왜냐하면 그것들이 정말 재미있는 기술적 문제이기 때문입니다. 하지만 PAI에서 우리는 다양한 이해관계자 회의를 진행했는데, 매번 회의 때마다 모든 기업들이 말하길, "사실 인구통계 정보가 포함된 데이터를 수집하려고 하면 개인정보 보호 팀에서 바로 차단합니다. 하지만 인구통계 데이터가 없으면 공정성 평가를 수행하기가 매우 어렵습니다."라고 했습니다. 그래서 별 배꼽 예시로 돌아가서, 누구 배에 별이 있고 누구에게 없는지조차 모른다면, 별 배꼽을 가진 생물에게 모델이 잘 작동하는지 어떻게 알 수 있겠습니까? 그 점이 연구 관점에서 제 주요 관심사가 되었고, 그런 맥락에서 우리가 무엇을 할 수 있을지 고민하게 되었습니다.

소니로 이직했을 때, 이 문제를 단순히 보고하고 정책 수준에서 영향을 미치려는 것이 아니라, 이 문제에 대한 해결책을 직접 만드는 좋은 기회라고 생각했습니다. 그리고 그것이 FHIBE에 영감을 주었습니다. "네, 이것은 문제입니다. 사람들이 뭔가 조치를 취해야 합니다."라고 말하는 것과, 그 격차를 메울 데이터 세트를 만드는 것은 다른 문제이기 때문입니다.

샘 랜스보텀: 진퇴양난의 상황을 지적해 주셔서 감사합니다. 우리가 침해적인 정보처럼 보이는 것을 기반으로 결정을 내리는지 평가하기 위해 침해적인 정보처럼 보이는 것을 많이 수집해야 한다는 점을 우리가 항상 인식하지는 못하는 것 같습니다. 이것은 본질적인 문제입니다.

여기서 하는 일 중 하나는 빠른 질문을 던지는 코너입니다. 가장 먼저 떠오르는 생각을 말씀해 주세요. 인공지능에 대해 예상보다 빠르게 움직이는 것은 무엇이고, 느리게 움직이는 것은 무엇인가요?

앨리스 시앙: 좋은 질문입니다. 예상보다 빠르게 움직이는 것은 AI가 일상생활, 특히 기업에 통합되는 속도인 것 같습니다. 지난 몇 년 동안 모든 사람의 KPI가 갑자기 AI 도입에 초점을 맞추게 된 것을 보는 것은 흥미로웠습니다. 5년에서 10년 전만 해도 예측하기 어려웠을 것입니다. 느리게 움직이는 측면에서는, 일반적으로 모델 개발에서 AI 윤리와 관련된 실제 구현입니다. 여전히 이러한 다양한 기술을 구현하는 실제 실무자들과 동떨어져 있는 경우가 많습니다. 다시 말하지만, 이것이 FHIBE의 동기 중 일부이며, 그 인센티브를 만들기 위한 것이지만, 이 분야 전반에서 많이 보지 못한 부분이기도 합니다.

샘 랜스보텀: 당신의 배경을 고려할 때, 느리게 움직이는 것에 대한 답변이 그렇게 나올 줄 알았습니다. AI의 최악의 사용 사례는 무엇인가요? 사람들이 이 기술을 어떻게 잘못 사용하고 있나요?

앨리스 시앙: 충분한 인간 전문성이나 감독이 없지만 매우 중요한 결정이 내려지는 상황입니다. 다소 추상적으로 말하는 이유는 사람들이 종종 인사, 의료, 형사 사법과 같은 특정 유형의 사용 사례, 즉 고위험 사용 사례를 지적하기 때문입니다. 제 생각에는 그것보다는 사용 사례에 따라 조금 더 구체적입니다. 적절한 인간 감독, 개인에 대한 적절한 교육, 기술에 대한 적절한 감독이 있다면 이론적으로 해당 영역에서 좋은 사용 사례가 있을 수 있습니다. 하지만 매우 자율적인 방식으로 사용되고 있고, 감독을 제공하는 사람이 없거나 감독을 제공하는 개인이 그렇게 할 지식이나 전문성이 없는 경우가 가장 우려되는 부분입니다.

샘 랜스보텀: 당신은 개인적으로 이 도구들을 어떻게 사용하나요?

앨리스 시앙: 예상만큼 자주는 아닙니다. 저는 AI를 감사하는 데 많은 시간을 보내는 것 같아요. 아마도 저에게 가장 흔한 사용 사례일 것입니다.

샘 랜스보텀: 일반적인 사용 사례에 해당한다고 생각합니다.

앨리스 시앙: 시간적으로 보면, 아마 가장 흔한 것은 AI를 감사하여 실패 모드가 있는지 확인하는 것이지만, 일상생활에서도 사용합니다. 예를 들어 식물의 건강 상태를 확인할 때 말이죠. 초보자이고 무언가를 진단하기 위한 출발점이 필요할 때 꽤 유용하다고 말씀드리고 싶습니다.

샘 랜스보텀: 우리가 예전에 사람들에게 물었던 질문 중 하나는 "처음으로 갖고 싶었던 직업은 무엇인가요?"였습니다. 다양한 배경을 고려하여 여쭤보겠습니다: 어렸을 때 커서 무엇이 되고 싶었나요?

앨리스 시앙: 어렸을 때는 화가가 되고 싶었어요. 어떤 면에서 지금 제 작업이 다시 그 방향으로 나아가고 있는 것 같아요. AI 개발이 진행되고 많은 AI 윤리 문제가 실제로 예술가의 권리와 일치하게 되면서 말이죠. 제가 이 분야에 처음 들어왔을 때는 전혀 그렇지 않았지만, 항상 예술 분야에도 큰 관심이 있었기 때문에 꽤 좋은 것 같아요.

샘 랜스보텀: 전혀 예상하지 못했네요. 정말 흥미로웠습니다. 사람들이 올바른 일을 더 쉽게 할 수 있도록 하는 노력, FHIBE가 그 예시인데, 사회적으로 사람들이 올바른 일을 더 쉽게 할 수 있도록 한다면 사람들은 올바른 일을 할 가능성이 더 높아질 것입니다. 그래서 여러분이 이 일에 쏟는 노력과 작업에 매우 기쁩니다. 오늘 시간을 내어 이야기해 주셔서 감사합니다.

앨리스 시앙: 초대해 주셔서 정말 감사합니다. 우리의 작업이 다른 사람들에게도 영감을 주어 같은 일을 하게 되길 바랍니다.

샘 랜스보텀: 오늘 들어주셔서 감사합니다. FHIBE를 다운로드하여 사용해 보시길 바랍니다. 다음 에피소드에서는 제 전 학생이자 미국 노동부 최고 혁신 책임자인 Taylor Stockton과 함께합니다. 함께해 주세요.

앨리슨 라이더: 들어주셔서 감사합니다 나, 나 자신, 그리고 AI.

나, 나 자신, 그리고 AI^® 는 Massachusetts Institute of Technology의 연방 등록 상표입니다.