技術

Anthropic稱AI加速自身研發 觸發自我改進安全門檻

Adrian Kessler
在 Google 中新增我們

Anthropic正式認定,人工智慧如今加速自身研究的程度,已足以跨越公司為自己訂下的界線。在修訂後的IPO招股說明書中,Claude的開發商表示,公司已達到《Responsible Scaling Policy》(責任擴展政策)所訂的AI研究與開發能力門檻。這套內部規範用來決定旗下模型需要多少安全防護與監督。政策將這個門檻描述為遞迴式自我改良的起點,也就是AI系統開始加速打造更強AI的時刻。

這項認定不同尋常之處,在於它並非根據實際觀察所得。Anthropic表示,這項判斷「是根據我們對未來模型的預期及整體進展速度,而非目前模型的實際表現」作出。尚未有任何在售的Claude模型被證明跨過這條界線。公司是依據自身預測採取行動,並在股票開始交易前將此事告知投資人。

Anthropic提出的證據來自內部。招股說明書指出,在最近某一個月裡,Claude撰寫的內容佔Anthropic程式碼庫新增貢獻逾九成;每位工程師每日貢獻的程式碼量,也已增加逾45倍。Anthropic還表示,其模型「撰寫的程式碼佔比持續擴大,也日益投入研究工作,包括安全研究」。

政策列出兩種跨越這道門檻的方式。第一種是模型能以具競爭力的成本,全面取代Anthropic所有研究科學家與工程師。第二種則是AI進展「大幅加速」;政策將其定義為把約兩年的進展壓縮在一年內完成,而且合理推測可能由自動化研究所推動。由於第二項測試只要公司「觀察到或預期」這種躍進便算符合,因此,預測本身就足以觸發門檻。

跨越這條界線,代表Anthropic必須採取更嚴密的防護措施。政策要求針對全球資源最充足的攻擊者推動「登月式」安全專案,並進入「全面監控」狀態:所有關鍵AI開發活動都必須記錄,並由AI分析威脅,包括來自人類或機器內部人員的威脅。公司的內部紅隊也必須找出比所有參與漏洞獎勵計畫的外部研究人員合計更多的越獄手法。招股說明書指出,公司已為加強模型權重防盜措施,將一款新前沿模型的預訓練延後逾一個月;隨著Claude承擔更多研究工作,公司也正考慮訂立規定,要求部分研究決策須經人類核准。

對於在工作中使用Claude或Claude Code的人來說,實際影響可能是產品發布速度放緩。隨IPO資料一同發布的創辦人信中表示,Anthropic有時可能會選擇「放慢腳步,低於我們原本能達到的速度,以提升系統安全性,即使這會讓我們在競爭中處於劣勢」。目前各款應用程式都不會有任何變動。

這項認定是Anthropic依據自願制定、且可自行修訂的政策所作出的自我評估,並未經外部稽核機構確認。政策承認,這道門檻「一直難以落實為可操作的標準」;申報文件也坦言,許多證據來自落後指標,因此真正的加速可能要到發生之後才會被察覺。招股說明書中的風險揭露也旨在保護公司免受未來訴訟;正如Gizmodo報導,同一份文件的早期版本只表示Anthropic「可能即將符合」相關標準。

Anthropic表示,公司仍在評估相關基礎數據,並將進一步發布報告,說明達到門檻代表什麼。公司股票預計於11月18日定價,並於11月19日在Nasdaq以股票代號ANT開始交易,擬定每股價格區間為70至78美元。目前,唯一證明這條界線已被跨越的,仍是Anthropic自身的預測。

標籤: , , , , ,

在 Google 中新增我們

討論

共有 0 則留言。