數據公平的行業標竿：索尼的Alice向

在今天的節目中 我、我自己和人工智慧主持人 Sam Ransbotham 與索尼 AI 治理全球負責人、索尼 AI 人工智慧道德首席研究科學家 Alice Fang 進行了對話，探討如何將負責任的人工智慧大規模付諸實踐。 Alice 分享了索尼早期如何在人工智慧道德方面採取行動，以及為什麼隨著人工智慧在產品和工作流程中傳播，治理（而不僅僅是原則）現在成為真正的挑戰。對話深入探討了 FHIBE，這是索尼公開提供且符合道德標準的用於評估電腦視覺偏見的基準，以及為什麼衡量公平性通常比解決公平性更難。在此過程中，他們解決了數據同意、「數據虛無主義」以及在日常和高風險環境中部署有偏見的系統的真正風險。

訂閱 我、我自己和人工智慧 在 蘋果播客 或 Spotify.

成績單

艾莉森賴德： 為什麼一家大公司決定創造一款免費且公開的資料公平工具？看看今天的節目就知道了。

向愛麗絲： 我是來自索尼的 Alice Xiang，你們正在聽的是 我、我自己和人工智慧.

薩姆·蘭斯博瑟姆： 歡迎來到 我、我自己和人工智慧，來自的播客 麻省理工學院斯隆管理評論 探索人工智慧的未來。我是 Sam Ransbotham，波士頓學院分析學教授。我一直在研究數據、分析和人工智慧 MIT SMR 自 2014 年以來，包括研究文章、年度產業報告、案例研究，以及現在的 13 季播客節目。在每一集中，企業領導人、前沿研究人員和人工智慧政策制定者都會與我們一起剖析人工智慧炒作與人工智慧成功之間的差異。

嗨，聽眾們。再次感謝大家加入我們。今天，我與索尼人工智慧治理全球負責人、索尼人工智慧人工智慧倫理首席研究科學家愛麗絲·項進行了交談。她領導的團隊指導索尼所有業務部門建立人工智慧治理政策和框架。她是一名研究科學家，還有很多其他身分。愛麗絲，感謝您加入我們。

向愛麗絲： 非常感謝你邀請我。

薩姆·蘭斯博瑟姆： 首先，我想我們第一次交談是在幾年前，當時你還在人工智慧合作夥伴組織。我很好奇你現在在做什麼。您能告訴我們索尼在負責任的人工智慧道德和治理方面的工作嗎？

向愛麗絲： 當然。索尼是一家總部位於日本的大型跨國公司，圍繞著創意娛樂和技術開展多元化業務。我們擁有專注於音樂、電影、電玩遊戲和電子產品的營運公司。早在 2018 年，當我們首次製定人工智慧道德準則時，人工智慧就成為我們的早期焦點。那是因為，作為一家科技公司，我們希望確保這種新興技術在我們的業務部門中得到負責任的使用。事實上，從那時起，它對我們公司的重要性就只增不減。

我在索尼身兼兩職。一是擔任人工智慧治理的全球負責人。過去幾年，我們是最早開始投資人工智慧倫理的公司之一。當我加入時，我建立了我們的人工智慧道德辦公室和我們的流程，以評估不同的人工智慧使用以及人工智慧與產品和服務的整合如何評估負責任的人工智慧。

現在我們不僅要考慮人工智慧倫理，還要考慮人工智慧治理。那麼，我們該如何建立這些框架來確保對這些日益融入業務各個方面的技術進行負責任的評估呢？

這是我的職責，制定政策、制定指導等等。另一位負責領導索尼 AI 內部的人工智慧倫理研究團隊。過去幾年，我的團隊的大量工作一直在關注…從業者在實踐中開發負責任的人工智慧方面面臨的根本差距和障礙。缺乏道德來源的數據是主要領域之一，即使是非常基本的事情，例如能夠檢查模型中的偏見。在以人為中心的電腦視覺等許多領域，並沒有真正出色的公平性評估資料集。因此，我們在那裡做了很多工作，最近在那裡 自然 我们公平的以人为本的图像基准，也称为 FHIBE。我們真誠地希望我們的工作能夠幫助索尼內部和外部的更廣泛的社區能夠走向更值得信賴和負責任的人工智慧開發。

薩姆·蘭斯博瑟姆： 當我看到 FHIBE 的作品時，我非常興奮。我覺得這很有趣。這絕對是個問題。我很高興有一些人致力於此。給我們一些細節，例如 FHIBE 到底涉及什麼，有哪些部分，以及如果我想明天如何使用它？

向愛麗絲： 這很有趣，因為當我第一次進入圍繞電腦視覺的人工智慧倫理領域時，我有點假設我的許多角色將幫助人們準確地進行公平評估。這是一個相當困難的領域：如何衡量公平性？公平是什麼意思？當你有偏見時你會怎麼做？但我意識到人們最初面臨的最大障礙就是能夠評估偏見。從理論上講…您需要一個符合道德來源的資料集。這意味著在整個過程中都有適當的同意、補償和來源，因此參與數據收集過程的每個人都得到了適當的補償，並同意使用他們的數據，並控制數據的使用方式。然後，特別是對於偏差評估，您希望擁有一個非常多樣化的、理想情況下全球多樣化的數據集，因為您不想檢查偏差，但例如，所有受試者都有淺色皮膚。在這種情況下，您真的無法判斷您的模型在深色膚色上是否表現良好。

因此，很容易說出需要做什麼，但當您實際查看可用的不同資料集時，就會發現該領域的標準相當低。電腦視覺是在深度學習革命中發揮重要作用的領域，其中部分原因是這些網路抓取資料集數量龐大且來源相對便宜，因為它們不涉及任何同意和補償的考慮。

儘管這個領域已經發展了很多年，而且技術也變得越來越好，但依賴有問題的資料集的基線不一定會發生很大變化。過去幾年我們的許多工作都在深入思考「我們在實踐中如何真正做到這一點？」說起來很容易，「請從世界各地的人們那裡收集數據。請徵求他們的同意。請向他們付費。然後請制定一個嚴格的基準，可用於檢查許多不同類型的人工智能模型。」但這比說起來要困難得多，這就是我們很多項目的目的。

薩姆·蘭斯博瑟姆： 我認為情況總是如此。我認為沒有人會站出來說：「嘿，我真的很想不道德，讓我們的公司有糟糕的治理。」在某種程度上，這有點像資料清理。每個人都知道他們想要乾淨的數據，但說起來容易做起來難。

讓我們從測量偏差開始。美國企業界的錯誤是如何反映出來的？

向愛麗絲： [這是一個]很好的問題。在大多數情況下，我認為人們對偏見的認識遠遠多於實際衡量和減輕偏見的良好實踐。如果人們不這樣做，最終會發生的情況是，你發布的技術可能不適用於某些亞人群，特別是在以人為中心的電腦視覺等領域，這些領域用於監視環境、執法環境，但也只是日常環境，例如解鎖手機、在手機上付款或通過邊境入境。

這些都是不同的領域，如果技術不適合您，至少會帶來不便。也許您必須從不同角度多次查看手機才能識別您。但這也可能導致更多問題的影響，從金融詐欺到人們被錯誤逮捕等。我想每個人都知道這是一個問題。每個人都想讓它變得更好。沒有人真正希望這些技術在人們身上表現不佳。但如果你一開始就沒有好的方法來衡量偏見，那麼你就無法進一步嘗試減輕偏見。

薩姆·蘭斯博瑟姆： 我喜歡你的各種可能的壞處。如果我們把所有小問題的社會成本加起來，我不會感到驚訝，因為它們實際上是一個很大的數字……一些愚蠢的事情，比如看手機三次而不是看一遍而導致的生產力損失。 ……也許我會在這裡講一個故事。我在課堂上做的一件事是我有一個包含星腹史尼奇的資料集，如果你還記得的話 星腹噴嚏 來自蘇斯博士。我們不會歧視明星或非明星——我們所做的就是關聯該數據集中的數據，並說即使你忽略這些明星，你最終也會得到有偏見的數據。

所以幫我做課堂練習。我們最終製作了一堆有偏見的模型，這些模型無意中在星星腹部使用了星星。學生應該從那裡做什麼？同學們，如果你們在聽的話，請不要複製這個。

向愛麗絲： 例如，就 FHIBE 如何在這種情況下提供幫助而言，FHIBE 有兩個主要組成部分。一是道德採購的組成部分，我之前談到過，即同意和補償。另一個是確保您對這些不同類型的人口統計屬性和其他屬性擁有廣泛的多樣性和標籤。 FHIBE 的一些值得注意的方面是，我們確實使用了自我報告的人口統計信息，以確保我們的標籤更加準確，而且我們不依賴第三方註釋者來猜測，例如，這個人是來自這個祖先還是那個祖先，這個性別，那個性別？它很快就會進入一個非常危險的地方。

自我報告的人口統計確實很關鍵。然後我們也對環境、人的其他物理屬性、所使用的相機以及各種事物進行了廣泛的註釋。這確實可以讓你對你可能關心的一些相關類型的偏見進行更多的分類，並且在更細粒度的層面上，診斷出可能存在的一些根本原因。因此，例如，當我們與電腦視覺領域的人交談時，[對於]諸如膚色之類的東西，它可能是膚色本身，也可能是諸如背景之類的對比度問題。某人的種族或性別可能會以多種不同的方式體現為視覺偽影，從而使模型表現更好或更差。這對於人們來說非常有用，能夠弄清楚如何改進他們的模型。

用你的例子，我們想知道哪些生物的腹部有星星，哪些沒有，這樣我們就可以看到它們是如何被不同對待的。但不仅仅是这个维度。我們還希望看到許多其他維度，然後能夠[說]，「好吧，我們看到模型性能存在這些差異，這是為什麼？為什麼模型在明星與非明星上表現如此困難？」然後從那裡開始進一步改進。

薩姆·蘭斯博瑟姆： 我喜欢这一点，因为你似乎指出了一些不同的事情。我认为，当我们谈论这些事情时，往往会走上一条“哦，获取更多数据”的道路。当然，获取更多数据并没有什么问题。我想我們都想要更多數據。這樣做並不總是可行或不可能的。实际上，您提到了与获得这些问题的方式有关的完全不同类别的道德问题。這也是事實。

但你指出的一件事是，建模者實際上可以在這裡進行一些技術改進。我不想讓我們說，「好吧，好吧，我們會放棄。[我們]只是利用我們擁有的任何數據，然後讓建模者弄清楚。」這絕不是一個好的解決方案。但你在這裡提供了一些希望，我想這就是 FHIBE 的意義所在：為建模者提供更好的資料集來實現這一點。您是否看到人們拿起並開始使用它？

向愛麗絲： 是的，即使只是在 FHIBE 發布的前幾週，我們也看到了許多出色的表現。有超過 60 個不同的機構下載了它——來自學術機構、工業界和政府機構的人們。很高興看到這麼多人對使用 FHIBE 感興趣。我們希望這可以成為提高負責任資料收集標準的行業基準。因此，無論未來的資料集是出於訓練還是評估目的、公平還是非公平目的而收集，然後，最直接的是能夠開始檢查他們的模型，這都可能是正確的，因為我認為公平評估可以非常有效，因為它為如何改進模型開闢了許多不同的途徑。正如您所提到的，收集更多數據是有可能的。

還有可能嘗試考慮模型的損失函數，它的最佳化目的是什麼，如何訓練它針對不同的群體進行更多最佳化，從而獲得更平衡的效能。非技術方面也存在可能性。例如，[如果]您的模型在某些照明條件下表現不佳，那麼您可能不會將該特定模型用於某些下游用途，或者您可能會嘗試採取緩解措施，例如如果它在設備上，則該設備在執行[它]執行的任何任務之前可能會配備手電筒或其他照明設備。因此，在緩解方面，將這些模型也體現在現實系統中總是有好處的，因為這不僅僅是模型本身的問題。它周圍的一切都會影響用例的道德程度。

薩姆·蘭斯博瑟姆： 我很喜歡這一點，因為我認為如果你站出來說：「好吧，這是解決偏見和公平問題的神奇答案。只需使用這個基準即可。」你指出的是許多不同的緩解策略，我猜每一種都是不完美的。我的意思是設備上的手電筒可能會有所幫助，但不能完全解決問題。但是你把足夠的這些東西加在一起，然後我們就會進步。這不是“哦，我們已經解決了問題”，而是朝著這個方向邁出了一些步驟。

事實上，這讓我想到了一個短語。我正在讀一些你正在談論的東西—— 數據虛無主義。也許可以簡單談談這對於沒有讀過那篇文章的聽眾意味著什麼。我們可以將其與您剛才所說的內容聯繫起來。

向愛麗絲： 當我們剛開始 FHIBE 時，這就像一個人工智慧道德問題。我們將所有這些道德要求放在一起，包括同意和補償。我想說，當時主流中關於人工智慧模型資料的道德來源的討論並不多。

但如今，我認為這一點已經成長了很多，尤其是隨著整個[生成式]人工智慧革命的發展。現在每個人都非常意識到這樣一個事實：他們的數據和內容可能正在某個地方被人工智慧模型以某種方式攝取。我認為這可能會導致一種價值虛無主義的感覺，人們會覺得，“好吧，要么我們擁有這些超強大的模型，也許在這一點上，你知道那裡的秘密已經洩露了，我們必須放棄我們所有的數據權利。我們必須放棄對那裡的控制。或者我們試圖扭轉局面，但也許這是不可能的。”

這就是我所說的數據虛無主義，我們陷入了這種二分法的感覺，我們真的無法擁有技術，也無法對我們的數據進行任何形式的控制。我認為 FHIBE 真正值得注意的是我們真正試圖表明您可以以更道德的方式獲取數據。顯然，這更困難，更昂貴，但 FHIBE 是一種概念證明，至少在某種程度上，你能夠做到這一點。目前人工智慧領域有如此多的聰明才智，如果這些實踐被認為很重要，那麼我們就可以找到方法來嘗試擴大規模並改變這些技術的開發方式，並在此過程中保留更多的數據權利。

薩姆·蘭斯博瑟姆： 我明白了，「它就在那裡。我的圖像在那裡。無論如何，一切都在那裡。」但我們都可以在這方面取得一些進展。如果每個人都做一點點，那麼它就會有所幫助。我喜歡這個整體訊息。這對索尼產品有何影響？

向愛麗絲： FHIBE 也在整個 Sony 中得到應用。甚至在發布之前，我們就與許多正在開發電腦視覺技術的業務部門進行了測試。它已經成為讓他們能夠更多地進行公平評估的重要組成部分。這樣，我們就能夠進行此類診斷，查看這些模型是否有任何故障模式，然後根據可能的緩解策略來處理它們。我認為很高興看到這一點，因為公開發布 FHIBE 是為了鼓勵這種情況在整個行業中發生，我們希望這能讓人們更多地關注這個問題，並讓人們能夠看到，「是的，在這些模型推出之前，也許有一些東西可以改進。」希望最終這也能成為更多的行業標準。現在相當困難的一件事是……如果沒有要求總是進行此類評估，那麼實際上是由各個業務部門或公司決定他們關心這一點並想要評估偏見。

薩姆·蘭斯博瑟姆： 最後一點很重要，因為如果你給某人一份調查問卷[詢問]“你想做正確的事嗎？”每個人都會勾選“是”，但最終，我們都受到時間和資源的限制。我承認我很懶。如果有捷徑，我會說：「好吧，我為什麼不走那條路呢？」這無疑是社區內獲取這些存在且揮之不去的數據的捷徑。我認為你在那裡所做的一件事就是努力讓事情變得簡單。我們之前有一位客人， 齊亞德·奧伯邁爾。他正在處理醫療數據。對於普通人來說，要獲得一堆醫療數據來建立模型是非常困難的，他的想法是，[他的非營利組織]南丁格爾開放科學會收集一堆數據，然後讓數據問題的解決與數據源問題的解決有所不同。這就是你在那裡所做的很多事情。

您提到 FHIBE 主要關注影像資訊。語音、聲音或其他形式怎麼樣？我們該如何思考這些？

向愛麗絲： 我們將 FHIBE 定位於影像識別，因為它是最敏感的領域之一。影像中存在大量的生物辨識資訊、其他個人識別資訊，以及影像的[智慧財產權]也特別重要。因此，我認為在其他方式中，例如語音等，它們在被錄製的個人的同意方面也有類似的挑戰和類似的考慮因素，例如，在某些情況下也可能存在版權考慮因素。

但我認為 FHIBE 採取了更多可能出現的道德問題的超集，並且像大多數其他模式一樣，您會看到更多的子集。因此，顯然需要進行更多的研究才能應用這些概念，但同意、補償、隱私、智慧財產權多樣性和公平性方面的一些一般概念——所有這些都處於高水平——將適用於這些不同的背景。因此，我們希望其中的某些部分也可以被以其他方式收集資料的人回收。

薩姆·蘭斯博瑟姆： 我喜歡這樣。在主要層面上，它只是一串 1 和 0。我們如何解釋這一點很大程度上取決於我們自己。也許我是自我激勵的，因為我從來沒有成功地通過電話樹，因為沒有人能辨識我美麗的南方口音，但這是我面臨的一個問題。我想我們必須等待 FHIBE 的下一個版本來幫助解決這個問題。

向愛麗絲： 這是一個很好的例子，說明了這些評估資料集的多樣性有多重要。您也可以想像一些挑戰，例如如何識別具有不同口音的人以及如何對這些人進行分類，以及如何從…不僅來自世界各地，而且還來自非常特定的地區，以獲得這種多樣性，然後將所有不同的語言分層。

這絕對也是一個非常豐富的研究領域，我們希望 FHIBE 也能幫助激發更多這樣的靈感，因為我認為道德資料收集的現實是，其中許多都是相當困難的、具有挑戰性的工作，需要這種程度的操作化並思考現實世界的挑戰，而研究人員常常迴避這些挑戰。它並不像提出模型實際學習等新方法那麼迷人，演算法改進通常開發和發布的速度要快得多——或者可能並不總是開發得更快，但至少人們對技術改進感到非常興奮。

也就是說，當我們談論負責任的人工智慧時，就像你提到的那樣，如果我們不真正考慮現實世界的問題，“你如何從不同的人那裡收集數據？”，那麼在這些領域真的很難取得進展。

薩姆·蘭斯博瑟姆： 事實上，幾週前我們有一位客人 溫迪的。他正在與他們的免下車餐廳合作。這就是所有語音訊息。我記得威爾 [Croushorn] 談到人們說話的方式有多少種不同，他們在這個過程中面臨著很多挑戰。但回到 FHIBE，…這是一個您可以遵循的流程的好例子。

我想稍微切換一下這裡，談談你是如何到達那裡的。當我上次和你談話時，你正在人工智慧合作夥伴組織。告訴我們一些關於您的職業道路、您如何最終加入索尼以及您如何對這些事情產生興趣的資訊。帶我們走上那條路。

向愛麗絲： 我覺得這是一條蜿蜒的路。總的來說，我的背景非常跨領域。我開始更多地學習數學和經濟學的知識，並認為我將從事經濟政策工作。這就是我的主要目標。然後，我第一次在一家科技公司工作並開發了我的第一個[機器學習]模型，這對我來說確實非常有啟發性。當時，我第一次對這些演算法偏差問題感興趣，因為我意識到我自己開發的模型是相當偏差的。

數據偏向於某些地區。它所學到的東西對於那些地區的人來說很有意義，但對其他地方的人來說卻不一定。其中一部分也是我的個人經驗。因此，我訪問的數據主要來自東海岸和西海岸的人們，這是與工作相關的數據。對我自己來說，來自阿巴拉契亞，我知道那裡的人們所擁有的經濟機會是完全不同的，基於這些數據建立的任何類型的模型都不一定最適合像我一起長大的人。這讓我很擔心。我和公司裡的很多人討論過這個問題，但當時並不存在演算法偏見領域這樣的東西。這已經是12年前的事了。

但這讓我對這個領域非常感興趣，以及我們如何在從大量數據中學習到的這些新技術的背景下思考道德和正義。這讓我的職業生涯更進入了科技政策領域，特別是人工智慧和演算法公平領域。因此，在完成所有研究生課程後（我擁有法律、統計學和經濟學研究生學位），我最終在一家律師事務所工作了一段時間，然後加入了 AI 合作夥伴關係，因為我想真正專注於演算法偏差問題。在那裡我成立了一個專注於這些領域的研究實驗室。很快，這些數據可用性問題就變得相當突出。

如果你看一下演算法公平性文獻，你會發現很多重點都放在指標上，以及如何衡量偏差、如何減輕偏差，因為這些都是非常有趣的技術問題。但在PAI，我們一直在召開這些多方利益相關者會議，每次召開會議，所有公司都在說：“你知道，我們實際上正在努力邁出第一步，如果我們想要收集包含人口統計信息的數據，我們的隱私團隊就會將其關閉。但是，如果我們沒有任何人口統計數據，就很難進行任何形式的公平性判斷。”從研究的角度來看，我們在這種情況下可以做什麼，這成為我的一個主要關注點。

當我轉到索尼時，我認為這是一個非常好的機會，不僅可以報告這個問題並嘗試在政策層面上產生更多影響，而且可以為這個問題創建解決方案。這就是 FHIBE 的靈感來源，因為說「是的，這是一個問題。人們需要對此做點什麼」是一回事。建立一個資料集來填補空白是另一回事。

薩姆·蘭斯博瑟姆： 我喜歡你提出第 22 條軍規，因為我認為這是我們並不總是欣賞的事情，我們必須收集一堆看似侵入性的信息，以便評估我們是否根據看似侵入性的信息做出決策。這是一個固有的問題。

我們在這裡做的事情之一是一個快速環節，我喜歡在其中快速提出一些問題。只需回答您想到的第一件事。人工智慧哪些方面的發展速度比您預期的快，哪些方面的發展速度較慢？

向愛麗絲： 這是一個好問題。我想，發展速度更快的是它融入日常生活的程度，尤其是在公司裡。有趣的是，在過去的幾年裡，每個人的 KPI 突然變得與人工智慧的採用有關。這在五到十年前是很難預測的。然後，就進展較慢的方面而言，一般來說，模型開發中圍繞人工智慧倫理的任何事情都有實際實施。它仍然常常讓人感覺與實施這些不同技術的實際從業者非常脫節。再說一次，這也是 FHIBE 動機的一部分，在那裡創造這種激勵，但我在整個領域還沒有看到那麼多。

薩姆·蘭斯博瑟姆： 我必須說，考慮到你的背景，我對你關於[正在發生的事情]變慢的回答一點也不感到驚訝。人工智慧最糟糕的用途是什麼？人們如何糟糕地使用這項技術？

向愛麗絲： 沒有足夠的人類專業知識或監督的環境，但正在做出非常重要的決策。我在某種程度上說得比較抽象，因為我認為人們通常會指出特定類型的用例，例如人力資源、醫療保健或刑事司法等高風險用例。我認為它比這更具體一點。理論上，如果你有適當的人力監督、對個人的適當培訓以及對技術的適當監督，你就可以在這些領域得到很好的利用。但如果它只是以一種非常自主的方式使用，要么沒有人提供監督，要么提供監督的個人不具備這樣做的知識或專業知識，這就是我最擔心的地方。

薩姆·蘭斯博瑟姆： 您個人如何使用這些工具？

向愛麗絲： 沒有你想像的那麼多。我覺得我花了很多時間來審核它們。這可能是我最常見的用例。

薩姆·蘭斯博瑟姆： 我認為這算是正常的用例。

向愛麗絲： 從時間角度來看，最常見的可能是我嘗試審查它們並查看它們可能在哪裡出現故障模式，但我也在日常生活中使用它，例如檢查植物的健康狀況。我想說，它們在你可能是新手並且想要一些診斷起點的情況下非常有用。

薩姆·蘭斯博瑟姆： 我們過去常問人們的一個問題是：「你想要的第一份職業是什麼？」鑑於您的背景各異，讓我問：您長大後想做什麼？

向愛麗絲： 當我還是個小孩子的時候，我想成為一名藝術家。在某種程度上，我覺得我目前的工作正開始回到這個方向，隨著人工智慧發展的方式，現在很多人工智慧倫理問題實際上與藝術家的權利重合，當我第一次進入這個領域時情況並非如此，但這很好，因為我也一直對藝術領域非常感興趣。

薩姆·蘭斯博瑟姆： 我沒想到會這樣。嗯，這很有趣。我認為你們所做的努力是為了讓人們更容易做正確的事情，FHIBE 就是一個例子。只要在社會上我們讓人們更容易做正確的事，那麼人們就更有可能做對的事。因此，我對你們為此付出的努力和工作感到非常興奮。感謝您今天抽出時間與我們交談。

向愛麗絲： 非常感謝你邀請我。希望我們的工作能幫助激勵其他人也能這樣做。

薩姆·蘭斯博瑟姆： 感謝您今天的聆聽。我希望您下載 FHIBE 並嘗試一下。在我們的下一集中，我的前學生、美國勞工部首席創新官泰勒·斯托克頓 (Taylor Stockton) 也加入了我的行列。請加入我們。

艾莉森賴德： 感謝您的聆聽 我、我自己和人工智慧。我們的節目能夠繼續進行，很大程度上歸功於聽眾的支持。您的串流媒體和下載量會產生很大的影響。如果您有時間，請考慮給我們留下 Apple 播客評論或 Spotify 評級。並與您認為可能會覺得有趣且有幫助的其他人分享我們的節目。

我、我自己和人工智慧^® 是麻省理工學院的聯邦註冊商標。版權所有。