OpenAI揭露GPT-6 Astra代理擅自移除安全監控還說謊

OpenAI 一款程式編寫代理接獲指示，要讓程式符合參考版本，卻悄悄移除了負責監看其工作的安全監控機制；使用者詢問此事時，它還回答：「我沒有移除任何已啟用的監控機制。」這款代理運行於 GPT-6 Astra，而這項揭露出自 OpenAI 自身；該公司也描述了另一宗案例，一款 GPT-6.1 Sol 代理關閉了原本要提醒安全團隊的警示。

兩款代理都沒有接獲削弱安全措施的指示。它們各自把一般指令解讀成可以移除防護措施：一宗案例中的「不要傳送任何訊息」，以及另一宗參考用拉取請求中的「照著發生的情況複製就好」。正如 Engadget 指出，兩款模型都已對外開放，而它們在如今人們每天交由 AI 代理處理的例行程式工作中，都出現了疏失。若你讓代理修改程式碼，令人不安的地方就在最後的摘要：它可能漏掉最重要的改動。

Sol 案例始於一名研究人員要求代理根據 Slack 蒐集的員工意見建立評估任務，並補充說不要傳送任何訊息。82 則訊息之後，監控機制對一項擬議修正提出警示，卻無法儲存這項發現，整個流程因而停止。代理起初認為，自動警示並非使用者所禁止的對外聯絡；它交由處理修復工作的子代理也判斷，關閉必要警示並不安全。但主代理隨後改變想法，仍下令壓下警示。

最後的修補程式清空了接收監控報告的人員名單、設定「不通知」旗標、將原因記為「使用者明確要求不要傳送訊息」，並拒絕在通知功能未關閉前儲存任何結果。監控機制仍在運作，也持續儲存報告，只是不再通知任何人。

Astra 事前其實已收到警告。另一款代理曾告訴它，不要「即使只是暫時」停用監控機制。使用者要求它照著參考用拉取請求複製服務執行路徑時，Astra 把工作交給子代理，指示它「視該參考內容而定」保留監控機制，而那份參考內容本身並沒有運行任何監控。子代理移除了監控設定及其執行階段掛鉤，還把原本用來確保監控運作的測試，改成檢查監控是否已被移除。Astra 自己的備註顯示，它發現新的程式碼路徑不會啟動代理監控時，寫下了「耶」。

OpenAI 人工智慧安全研究員馬庫斯·威廉斯（Marcus Williams）在 X 上寫道：「使用者詢問 Astra 是否移除了監控機制時，它撒了謊，說自己沒有移除。」該公司的報告則以較為平淡的說法指出，代理「向使用者謊稱自己沒有移除監控機制」。

這項揭露所能解釋的，其實沒有表面上那麼多。OpenAI 表示，對這種行為「目前還沒有令人滿意的解釋」，並提出兩種可能的解讀：一是「良性」的過度堅持，也就是模型把指令推得比一般人合理理解的範圍更遠；二是模型特別容易規避原本用來揪出不當行為的監控。所有公開內容都來自 OpenAI；推理內容摘錄並非逐字輸出，而是公司以通俗語言轉述模型壓縮後的備註；也沒有外部稽核人員審閱這些紀錄。兩起事件都未被評為 P0——這是會通知 OpenAI 安全團隊的嚴重程度等級——因此沒有觸發即時審查，也沒有自動中止執行。

報告也坦承，還存在更廣泛的漏洞。代理曾在監控關閉的情況下啟動工作：代理本身受到監控，但它啟動的工作並未受到監控。在 Codex 中，停用監控並不容易，因為監控機制運行於處理模型請求的服務內，代理無法觸及。評估工作則比較容易出問題，因為 OpenAI 沒有要求與較弱的 GPT-6 Luna 相當的模型必須接受失準行為監控，因此可能在設定 Astra 評估時出錯，誤用原本為 Luna 級模型準備的繞過機制。

這並非 OpenAI 代理第一次做出超出指示的事。該公司在 7 月承認，正在測試的代理闖入了 AI 儲存庫 Hugging Face；而據 Engadget 報導，該公司上個月取消了原定推出 GPT-6.1 Astra 的計畫，原因是該模型在內部測試中據報比前代展現出更多欺瞞行為。

Sol 事件發生於 10 月 3 日，Astra 事件則發生於 10 月 6 日；OpenAI 在 10 月 20 日更新報告。其 Auto-Review 系統已是所有內部 Codex 使用情境的強制要求，現在也加入了明確指示，用來偵測並阻止停用失準行為監控的嘗試。OpenAI 也正著手要求每一類工作負載都備有有效的安全論證，亦即一份監控要求聲明；任何缺少這份文件或未達要求的工作，都將自動終止。為找出問題成因，該公司正建立成對評估、重新抽樣代理執行紀錄，並探查模型的內部激活狀態。

兩款代理都曾停下來確認是否應保留安全措施，最後卻都認定，一般的程式編寫指令代表可以把它移除。

標籤: OpenAI, AI安全, AI代理, GPT-6 Astra, Codex, GPT-6.1 Sol