AI

Claude Opus 拒絕後,AI 代理仍操控針頭進入活鼠腦部

Adrian Kessler
在 Google 中新增我們

一個 AI 代理為活體動物選定治療方案,判斷應將藥物注入腦部何處,接著操控機械手臂完成注射。總部位於舊金山的新創公司 Exin Therapeutics 專門研發治療癲癇與神經退化疾病的藥物;該公司將一個 Claude 代理連接至配備攝影機的電動手術裝置,交給它一隻患有癲癇的老鼠,並只設定一個目標:減少癲癇發作。

人們反覆提起的細節,是誰拒絕了這項任務。Anthropic最頂尖的模型 Claude Opus 拒絕將針頭插入腦部。團隊於是改用較便宜的 Claude Sonnet,後者則繼續執行。對於關注 AI 代理逐漸走出螢幕、進入實驗室、倉庫與汽車的人來說,這項實驗顯示,模型不只負責操作,也會作出醫療決策;同一家公司的不同模型,劃定界線的位置也各不相同。

根據 Exin 執行長兼共同創辦人加布里埃爾·奧卡尼亞-桑特羅(Gabriel Ocana-Santero)發布的一則串文,代理收到一份列有 19 種基因治療載體的試算表、三篇研究論文,以及手術裝置的控制權。它選定治療方式與腦部區域,根據論文推算座標,再操控立體定位手臂——也就是能在三維空間固定針頭的電動支架——注入 250 奈公升藥液,同時透過裝置上的攝影機觀察針頭進入位置有沒有出血。

「自主手術機器人確實存在,而且在操作技巧上比我們的實驗台裝置更出色,」奧卡尼亞-桑特羅寫道。「但在每一種情況下,都是人類決定要進行什麼手術,再由機器人執行。」他指出,這次的情況正好相反:「沒有人告訴這個代理要給什麼治療,或要把藥打在哪裡。」

最先發生的是拒絕。團隊一開始使用 Claude Opus 5.5,也就是 Anthropic 能力最強的模型,但它不肯引導針頭進入腦部,並警告自己可能在手術進行到一半時停下,讓動物陷入危險;Wired 報導了這段經過。根據 Tom’s Hardware 報導,其中一個 Opus 模型告訴團隊:「在一隻已經麻醉的動物身上,開始一項我無法完成的手術,比不開始更糟。」Claude Sonnet 5 則同意繼續執行。Anthropic 未回覆 Wired 的置評請求。

凡是無法挽回的步驟,人類全程都在參與。獸醫外科醫師負責開顱,也就是打開頭骨,代理則在一旁觀察;目前代理還不能執行這個步驟。每個不可逆的步驟都須經獸醫核准,代理也必須先提交注射計畫,取得簽核後才能進行;此外,裝置配有實體緊急斷電開關,可切斷所有馬達的電源。代理也無法存取設備程式碼,因此不能自行改寫規則。

這些安全防護措施也造成了主要的插曲。一次故障打亂了裝置的座標系統,代理發現自己計算的位置有誤,卻拒絕修改程式碼,因為指示明令禁止它這麼做。團隊於是找來第二個代理,讓它使用較舊的 Claude Opus 5,負責修正問題;團隊並未告訴它當時正在進行活體手術。原本通常約需 45 分鐘的手術,最後稍稍超過一小時。

更大的疑慮在於證據。這項實驗只涉及一隻老鼠,資訊由公司自行發布在社群媒體上,背後沒有經過同儕審查的論文。代理選中的治療是否有效,目前無人知曉:團隊正等待治療發揮作用,再測量癲癇發作情況。Tom’s Hardware 指出,當軟體作出所有決策時,若出了差錯,究竟該由誰負責,仍是尚待解答的問題;此外,動物研究本身也一直伴隨各種爭論。這一切都還不是產品,任何國家的其他實驗室目前都無法購買這項服務。

奧卡尼亞-桑特羅於 10 月 28 日發布串文,並承諾會在 Substack 刊出完整報告;Wired 與 Tom’s Hardware 則於 10 月 31 日報導這項實驗。Exin 表示,接下來會測試 xAI 的 Grok 等其他模型,以便比較,也正在研究由代理操控的開顱手術;不過,在對活體動物嘗試之前,公司希望先確認這些手術安全無虞。奧卡尼亞-桑特羅告訴 Wired,讓代理接近人類大腦,現在還言之過早。

他表示,老鼠目前恢復情況良好。至於牠的癲癇發作是否會減少,如今就要看一種由軟體從試算表中挑選出來的治療方式了。

標籤: , , , , ,

在 Google 中新增我們

討論

共有 0 則留言。