內特·蘇雷斯：呼籲叫停超級智慧的AI研究者

內特·蘇雷斯

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

出生	1989
職業	人工智慧研究者

內特·蘇亞雷斯在 Google 開立的退休帳戶至今仍在。他大約十年沒有再往裡面存錢。這並非出於疏忽：身為機器智慧研究所（Machine Intelligence Research Institute）主席，他相信超人類人工智慧很可能會在人類老到能動用退休金之前殺光所有人。如今他公開談起這件事，語氣平淡冷靜，彷彿工程師正在宣讀測試結果。「我其實不是那種認為 AI 會帶來就業末日的人，」他今年秋天接受訪問時說。「我是那種認為 AI 會殺死所有人的人。」驅動他工作的問題，也是他拒絕視為已有定論的問題：一個預期最壞結果的人，是否仍能說服打造這項技術的人停手。

讓人難以輕易駁斥他的，是他的出身背景。蘇亞雷斯並非半路闖進電腦領域的哲學家。他在喬治華盛頓大學主修電腦科學與經濟學，接著為美國聯邦政府撰寫軟體，先在美國國家標準與技術研究院擔任研究助理，之後又以美國國防部承包商身分，為國防大學開發工具。再後來，他進入 Microsoft 和 Google 工作——如今他要求政府加以約束的，正是這類公司。

2014 年，二十多歲的蘇亞雷斯（他出生於 1989 年）離開 Google，加入加州柏克萊的一家小型非營利機構。多年來，這個機構一直探問一個多數業界人士視為科幻的問題：要如何讓一個比自己更聰明的心智，照著自己的本意行事？他在 MIRI 擔任研究員期間，成為該機構技術研究議程的主要作者；這份議程由他與本雅·法倫斯坦（Benya Fallenstein）共同撰寫，後來以「Agent Foundations for Aligning Machine Intelligence with Human Interests」為題發表。2015 年 1 月，斯圖爾特·羅素（Stuart Russell）、丹尼爾·杜威（Daniel Dewey）與馬克斯·泰格馬克（Max Tegmark）發表論文「Research Priorities for Robust and Beneficial Artificial Intelligence」，呼籲 AI 研究人員看待系統的社會效益，應與重視原始能力同等認真；蘇亞雷斯等人撰寫的研究議程也在該文中獲得引用。

同一時期，他的領域也出現了一篇替相關討論增添重要詞彙的論文。「Corrigibility」由他與法倫斯坦、伊利澤·尤德考斯基（Eliezer Yudkowsky）及斯圖爾特·阿姆斯特朗（Stuart Armstrong）共同撰寫，並於 2015 年初在 AAAI 研討會上發表。論文探討的問題聽來簡單，實則不然：一個能力強到足以派上用場的系統，也可能強到足以抗拒他人修正它，或將它關掉。蘇亞雷斯與尤德考斯基表示，這篇論文引入了「AI alignment problem」（AI 對齊問題）一詞；如今，連他們反對其計畫的實驗室也在使用這個說法。

2015 年稍晚，蘇亞雷斯接替盧克·米爾豪瑟（Luke Muehlhauser），出任 MIRI 執行主任，任職八年。在他的帶領下，該機構投入的是抽象數學，而非產品開發：決策理論、邏輯不確定性，以及一個形式化問題——智能體應如何推理自身。他與斯科特·加拉布蘭特（Scott Garrabrant）等人合寫「A Formal Approach to the Problem of Logical Non-Omniscience」，也與班傑明·萊文斯坦（Benjamin Levinstein）合寫決策理論論文「Cheating Death in Damascus」；該文於 2020 年刊登在 The Journal of Philosophy。2017 年，他回到 Google 發表演講，列出 AI 對齊領域尚未解決的問題，並主張這些問題比業界想像的更棘手。他也在自己的部落格 Minding Our Way 撰寫 Replacing Guilt，以一系列文章探討動機；讀者如今可以買到這些文章的書籍版本。這本書讓他在某些圈子裡更以工作方法建議聞名，而非以機器相關議題著稱。

轉變發生在 2023 年。MIRI 宣布將工作重心從 AI 對齊研究轉向向政策制定者與大眾示警，同時仍會支持部分技術研究。蘇亞雷斯從執行主任轉任主席，馬洛·布爾貢（Malo Bourgon）則出任執行長。2025 年，蘇亞雷斯接受《The Atlantic》訪問時表示，他正專注於提升大眾認知，因為 AI 開發進展太快，根本來不及建立充分的防護措施。

這項轉變催生了他與尤德考斯基合寫的 If Anyone Builds It, Everyone Dies，由 Little, Brown 於 2025 年 9 月出版。書名就是論點：只要採用「任何與現行技術稍有相似之處」的方法打造超級智慧，極有可能導致人類滅絕；AI 對齊研究遠未準備就緒，唯有國際監管才能阻止開發者競相打造作者認為具有災難性危險的系統。該書於 2025 年 10 月登上《The New York Times》暢銷書榜。之後，Planeta 推出西班牙文版，早川書房則於 2026 年 4 月出版日文譯本。

外界反應也暴露了這套論證最薄弱之處。一些最尖銳的反對意見，來自同樣擔憂 AI 風險的人。有效利他主義運動的創辦人之一威爾·麥卡斯基爾（Will MacAskill）批評此書令人失望，認為它的論證薄弱，仰賴以演化為基礎的類比，也暗中預設 AI 進展會突然躍升，而不是逐步攀升。克拉拉·科利爾（Clara Collier）在 Asterisk 刊出的書評，標題便點出認同作者立場的讀者心中的失望：「More Was Possible」。此外，蘇亞雷斯很少深入談及一個令人尷尬之處：MIRI 多年來試圖解決對齊問題，最後卻認定無法及時解決。這既可以被看作知識上的誠實，也可以被視為承認自身研究計畫失敗。他為自己的確信辯護時，會用下一盤棋作比喻：即使不知道是哪一枚棋子將完成將殺，他仍能確信馬格努斯·卡爾森會擊敗自己。在批評者眼中，這恰恰就是問題所在：他預測了結局，卻沒有說明棋局如何走到那一步。

這些事都沒有讓他的態度變得溫和。2026 年 10 月，蘇亞雷斯在尼古拉斯·湯普森（Nicholas Thompson）主持的 Podcast The Most Interesting Thing in AI 上表示，人類無法再多撐十年的機率高於一半，並解釋了為何那個 401(k) 退休帳戶一直沒有動過。同一場對談中，他堅稱結局尚未注定。「我會盡一切所能阻止這種事發生。我不認為這是不可避免的，」他說，接著提到 C·S·路易斯（C.S. Lewis）的文章〈On Living in an Atomic Age〉。文中主張，若炸彈終將落下，落下時最好看到人們正在做明智而合乎人性的事，而不是瑟縮躲藏。他將這個想法化為自己的說法：「但願它看到我們正遊說政府簽署核不擴散條約。」

這就是他選擇承擔的工作。他仍是 MIRI 主席，將時間花在訪談、演講和簡報上，希望把原本只在少數人之間流傳的研究憂慮，轉化為國際協議，叫停各方競相邁向超級智慧的局面。那個 Google 退休帳戶仍然開著。他只是已經不再押注自己有機會用到它。

標籤: 人工智慧, Google, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares, 人工智慧安全

相關人物

討論