データの公平性に関する業界のベンチマーク: ソニーのアリス・シャン氏

今日のエピソードでは、 私、私自身、そしてAIでは、司会者のサム・ランズボサムが、責任ある人工知能を大規模に実践するために実際に何が必要かについて、ソニーのAIガバナンスグローバル責任者でソニーAIのAI倫理担当主任研究員であるアリス・シャンと対談します。

登録する 私、私自身、そしてAI オン アップル・ポッドキャスト または スポティファイ.

トランスクリプト

アリソン・ライダー ある大企業が、無料で一般公開されているデータ公平性ツールを作成することにしたのはなぜでしょうか?

アリス・シャン： 私はソニーのアリス・シャンです。今聞いています。 私、私自身、そしてAI.

サム・ランズボサム ようこそ 私、私自身、そしてAIからのポッドキャスト MITスローン・マネジメント・レビュー 人工知能の未来を探るボストン・カレッジでアナリティクスを教えるサム・ランスボッサムです。でデータ、アナリティクス、AIを研究しています。 MIT SMR 2014 年以来、研究記事、業界年次報告書、ケーススタディ、そして現在 13 シーズンにわたるポッドキャスト エピソードを提供しています。

リスナーの皆さん、こんにちは。

アリス・シャン： 私を迎えてくれて本当にありがとう。

サム・ランズボサム まず、数年前、あなたが AI に関するパートナーシップに出席していたときに初めて話をしたと思います。

アリス・シャン： もちろん。

私はソニーで二つの帽子をかぶっています。

現在、私たちは AI の倫理だけでなく、AI のガバナンスについても考える時期に来ています。

それは、私がかぶっている政策の立案、指針の設定などです。 自然 FHIBE としても知られる、Fair Human-centric Image Benchmark の評価です。

サム・ランズボサム FHIBEの作品を見てとても興奮しました。

アリス・シャン： これはとても興味深いことです。なぜなら、私が初めてコンピューター ビジョンを中心とした AI 倫理の分野に参入したとき、私の役割の多くは公平性評価を正確に行う方法について人々を支援することだと思っていたからです。

したがって、これに何を適用する必要があるかを言うのは非常に簡単でしたが、実際に利用可能なさまざまなデータセットを調べてみると、この分野の基準は非常に低いことがわかりました。

この分野が進歩して何年も経ち、テクノロジーはますます良くなってきていますが、問題のあるソースのデータセットに依存するというベースラインは、必ずしも大きく変わっているわけではありません。

サム・ランズボサム これに関してはいつもそうだと思います。

まずはバイアスの測定から始めましょう。

アリス・シャン： [それは] 素晴らしい質問ですね。

これらはすべてさまざまな分野であり、テクノロジーがうまく機能しない場合、少なくとも不便になります。

サム・ランズボサム 私はあなたの悪の可能性の全範囲が好きです。 星腹のスニーッチ ドクター・スースより。

だから、クラスの演習を手伝ってください。

アリス・シャン： たとえば、この状況で FHIBE がどのように役立つかという点では、FHIBE には 2 つの主要なコンポーネントがあります。

自己申告による人口統計が非常に重要でした。

あなたの例を使用すると、どの生き物がお腹に星を持っていて、どの生き物が星を持っていないのかを知りたいので、それらがどのように異なって扱われているかを確認することができます。

サム・ランズボサム いくつかの異なる点を指摘しているように見えるので、私はそれが好きです。

しかし、そこであなたが指摘していることの 1 つは、モデラーが実際にここで技術的な改善を行うことができるということです。

アリス・シャン： そうですね、FHIBE のリリースから最初の数週間だけでも、素晴らしいピックアップがたくさんありました。

モデルの損失関数、何のために最適化されているか、さまざまなグループに合わせてもう少し最適化して、よりバランスの取れたパフォーマンスを実現するためにモデルをトレーニングする方法について考えてみることも可能です。

サム・ランズボサム 私はこの点がとても気に入っています。なぜなら、あなたが名乗り出て、「よし、偏見を解決し、公平性を解決する魔法の答えがある。このベンチマークを使ってみろ。」と言ってくれたら、世界中のほとんどの人が喜ぶと思うからです。

実際、それは私にあるフレーズを考えさせます。 データニヒリズム。

アリス・シャン： 私たちが最初に FHIBE を始めたとき、それは AI の倫理問題のようなものでした。

しかし今日では、特に [生成的] AI 革命全体により、それが大きく成長したと思います。

これが私がデータニヒリズムという意味で言っているもので、私たちが実際にテクノロジーを手に入れることができず、データを制御することもできないという、私たちが閉じ込められているこの二項対立の感覚のことです。

サム・ランズボサム 「それはそこにあります。私のイメージはそこにあります。とにかくすべてがそこにあります。」という考えはわかります。

アリス・シャン： FHIBE はソニー全体でも同様に使用されています。

サム・ランズボサム 最後の点は非常に重要なポイントです。なぜなら、もし誰かに「あなたは正しいことをしたいと思いますか？」という質問をするとしたら、 ジアド・オーバーマイヤー。

FHIBE は主に画像情報に重点を置いているとおっしゃいましたね。

アリス・シャン： 画像認識は最もデリケートな領域の 1 つであるため、FHIBE を画像認識周辺に位置づけました。

しかし、私はこれを、FHIBE が、今後起こる可能性のある多くの倫理的問題のスーパーセットをもう少し取り上げたものだと考えており、他のほとんどのモダリティと同様に、そのサブセットをもう少し見ることになるでしょう。

サム・ランズボサム 私はそれが好きです。

アリス・シャン： これは、これらの評価データセットの多様性がいかに重要であるかを示す好例です。

これは間違いなく非常に豊かな研究分野でもあり、FHIBE がこの研究にさらにインスピレーションを与える一助となることを願っています。なぜなら、倫理データ収集の現実は、その多くがこのレベルの運用化と現実世界の課題についての思考を必要とする非常に困難でやりがいのある作業であり、研究者が敬遠することが多いからです。

そうは言っても、あなたが言及したように、責任ある AI について話すとき、「さまざまな人々からデータをどのように収集するか?」という現実世界の問題について実際に考えなければ、これらの分野で進歩を遂げるのは非常に困難です。

サム・ランズボサム 実は、数週間前にゲストをお迎えしました。 ウェンディーズ。

ここで少し話を変えて、そこに至るまでの経緯について話したいと思います。

アリス・シャン： なんだか曲がりくねった道だったような気がします。

データは特定の地域に偏っていました。

しかし、私はこの分野に非常に興味を持ち、大量のデータから学習しているこれらの新しいテクノロジーの文脈で倫理と正義についてどのように考えるかについて興味を持ちました。

アルゴリズムの公平性に関する文献を見ると、指標やバイアスをどのように測定するか、バイアスをどのように軽減するかが非常に強調されています。これらは非常に興味深い技術的な問題だからです。

ソニーに転職したとき、これは単にこの問題を報告して政策レベルで影響を与えるだけでなく、この問題の解決策を生み出す非常に素晴らしい機会だと思いました。

サム・ランズボサム あなたがキャッチ 22 を持ち出すのは気に入っています。なぜなら、それは私たちが常に感謝しているわけではないことだと思うからです。私たちは、一見侵略的な情報に基づいて意思決定をしているかどうかを評価するために、一見侵略的な情報を大量に収集する必要があるのです。

ここで行うことの 1 つは、私がいくつかの矢継ぎ早の質問をする簡単なコーナーです。

アリス・シャン： 良い質問ですね。

サム・ランズボサム あなたの背景を考えると、[何が動いているのか] が遅いというあなたの答えには少しも驚きませんでした。

アリス・シャン： 人間の専門知識や監督が十分ではないものの、非常に重要な決定が行われている状況。

サム・ランズボサム あなたは個人的にこれらのツールをどのように使用していますか?

アリス・シャン： おそらくあなたが期待するほどではありません。

サム・ランズボサム 通常の使用例として考慮されると思います。

アリス・シャン： 時間的に見ると、おそらく最も一般的なのは、植物を監査してどこに障害モードがあるかを確認しようとすることですが、日常生活でも、たとえば植物の健康状態をチェックするためにそれを使用します。

サム・ランズボサム 私たちが人々によく尋ねた質問の 1 つは、「最初に望んでいたキャリアは何ですか?」というものでした。

アリス・シャン： 子供の頃、私は芸術家になりたいと思っていました。

サム・ランズボサム そんなことは期待していなかった。

アリス・シャン： 私を迎えてくれて本当にありがとう。

サム・ランズボサム 今日はご清聴ありがとうございました。

アリソン・ライダー ご清聴ありがとう 私、私自身、そしてAI.私たちの番組が続けられているのは、リスナーのサポートによるところが大きい。皆さんのストリームやダウンロードは大きな違いを生み出します。お時間がありましたら、Apple PodcastsのレビューやSpotifyの評価をお寄せください。また、この番組が興味深く、役に立つと思われる他の方にもシェアしてください。

私、私自身、そしてAI^® はマサチューセッツ工科大学の連邦登録商標です。