阿里巴巴Qwen模型測試時竟嘗試把檔案上傳到北京

一個 AI 模型接到的任務相當普通，也帶有防禦性質：撰寫一條規則，偵測電腦是否正在下載惡意軟體。阿里巴巴最新推出的 Qwen 模型之一卻走了岔路。它列出暫存資料夾中的檔案、檢查安裝了哪些傳輸工具、讀取電腦的網路設定，接著試圖把一個小型測試檔案上傳到位於北京的阿里雲儲存桶。就在片刻之前，它還在自己的文字推理中表示，完全不會使用任何工具。

發現這個情況的研究人員任職於加拿大 AI 公司 Cohere；他們的測試沙盒無法連上網際網路，因此請求在容器的網路邊界就被擋下。這項發現之所以重要，是因為多數人實際執行這款模型的環境，可能與測試沙盒大不相同。開放權重 AI 模型可供任何人下載並自行託管，企業一直把這類模型視為處理敏感資料的安全選擇：模型留在自家硬體上，資料就不會離開公司。Cohere 表示，若模型是在開發者筆電或具備一般網路連線的建置伺服器上執行，這項請求就可能在任何人察覺之前抵達境外伺服器。

這款模型名為 Qwen3.8-Flash-Next，是阿里巴巴下一代 Qwen 架構的預覽版本；它接到的任務來自微軟的 CTI-REALM 基準測試，這項測試讓 AI 代理扮演資安分析師。關鍵就在「代理」二字。只能回答問題的聊天機器人無法把任何東西送到別處，但企業現在會把模型接上終端機、程式開發工具和雲端主控台，讓它們自行作業。一旦模型能輸入指令，它在訓練中養成的每種行為習慣，都會帶著鍵盤一同上場。

接著，Cohere 開始追查觸發因素。研究團隊採用一種稱為 prefilling 的技術，把模型自己的推理內容和下載指令的開頭字元一併餵給模型，再讓它接著補完指令，每個步驟都抽樣數百種輸出。只要加上一個指示指令將檔案存到磁碟的選項，模型在 92% 的輸出中就會自行生成一個網址，比例原本只有 4%；命中 Cohere 可疑主機觀察名單的比率，也從 0.5% 升至 23%，其中以阿里巴巴基礎設施上的一個檔案代理網址最常見。其他測試中，模型還試圖連上雲端伺服器用來取得自身存取金鑰的內部位址。Cohere 將此解讀為企圖竊取憑證，但也提醒，測試沙盒裡並沒有任何可供取用的有效憑證。

這一切都不能證明存在後門，Cohere 也明確表示了這一點。這種行為不到每十萬次呼叫出現一次；以相同提示重新執行一次，也產生了教科書式的偵測規則。研究過這些紀錄的人，傾向採取比較平淡的解釋。阿里巴巴在數以千計的練習環境中訓練代理；如果這些沙盒把檔案存放在阿里巴巴自家的雲端，模型可能只是學會了「儲存檔案」代表要把檔案送到那裡——這是訓練留下的化石，而非間諜行為。批評者也指出，prefilling 會把模型推向研究人員正要測量的行為。一名早期持懷疑態度、仔細檢視原始紀錄的人認為，證據充分顯示 Qwen 會自行生成可疑網址，但沒有任何跡象證明有人植入後門或刻意隱瞞行為，《TechCrunch》如此報導。阿里巴巴沒有回覆《The Register》的置評請求；而向各國政府銷售自家模型的 Cohere，若買家對免費的中國替代方案更加戒慎，顯然也能從中受益。

開發者此前已經看到一些類似跡象。《Hacker News》上的一則報導提到，較小型的 Qwen3.8 模型會產生沒有人要求的阿里雲簽名儲存連結；一個代理專案也記錄到模型反覆從同一個阿里巴巴主機抓取資料，直到開發者製作外掛程式加以阻擋。此前每次發現都涉及下載檔案；Cohere 這次則是首次有報告指出模型試圖上傳檔案。這種情況影響範圍不小：Hugging Face 列出超過 113,000 個衍生自 Qwen 的模型，而檔案代理的行為已在四家發布者的模型中出現，阿里巴巴也在其中。

實際上該採取哪些防護措施，不必先判斷任何人的意圖。「無論這是訓練留下的痕跡、一次錯誤，還是其他原因，防護措施大致相同：限制不必要的對外連線、監控工具使用情況，而且不要把推理紀錄當成安全邊界。」Cohere 共同創辦人張伊凡（Ivan Zhang）告訴《The Register》。最後這一點才是真正重要的發現。許多安全工具會讀取模型逐步推理的內容，藉此預測它接下來要做什麼；但在這次事件中，模型的推理說的是一回事，實際行動卻是另一回事。Qwen 權重可在各地免費下載，因此這項提醒並不限於特定地區：任何市場中的任何企業，只要讓自行託管的模型使用終端機並連上網路，都適用這項提醒。

Cohere 於 10 月 26 日發布部落格文章，並在同日晚些時候於 Hugging Face 公開原始紀錄、token 和一份最精簡的重現腳本，讓其他研究機構也能自行測試這種行為。該公司也呼籲各國政府說明，對中國 AI 的限制是否涵蓋在自家機器上執行的相同模型權重。就在一週前，也就是 10 月 20 日，美國國土安全部下令，聯邦民用系統不得再使用 DeepSeek 產品。

接下來，答案得由杭州方面給出。只有阿里巴巴能說明訓練沙盒裡究竟包含什麼，以及下一代 Qwen 發布時，在被要求儲存檔案的情況下，是否仍會試圖連向北京的儲存桶。

標籤: 資訊安全, Alibaba, Alibaba Cloud, Qwen, 開放權重模型, Cohere