技術

伊隆·馬斯克稱Grok 4.8延遲,是因xAI以C/C++從頭重寫整套軟體

新的 Grok 推遲發布是因為 xAI 捨棄了用於訓練與提供模型的開源工具。馬斯克稱此結果「尚未令人驚嘆」,並押注這次重寫會在 Grok 5 中見效。
Adrian Kessler
在 Google 中新增我們

埃隆·馬斯克(Elon Musk)最新一則 Grok 更新中,真正耐人尋味的並不是程式語言,而是其中透露的訊息:下一代模型之所以延後,是因為開發團隊捨棄了原本用來訓練及部署模型的開源工具,改為自行編寫整套系統。

若把這則貼文當成新產品預告來看,語氣相當樂觀:訓練已完成、評測結果持續攀升,並會在本週結束前開始小規模推出。但若從系統架構的角度解讀,它透露的事情更重要。現已成為 SpaceX 一部分的 xAI 認定,共用框架限制了自身發展,因此決定讓這款模型,以及下一款模型,都建立在自家掌握的軟體架構之上,從研究人員到 GPU 之間的每一層都由自己控制。

「我們已經棄用 JAX/SGLang,並以 C/C++ 從頭重寫了整套 RL 和推論系統,因此多花了一些時間。」馬斯克在 X 上回覆一名詢問 Grok 4.8 何時推出的用戶時寫道。JAX 是 xAI 用來訓練模型的 Python 數值運算函式庫;SGLang 則是大型語言模型的開源服務框架。他表示,預訓練已經完成,但「SFT 資料需要做很多清理」,指的是監督式微調資料集。「現在,4.8 正在進行 RL,評測結果也開始攀升了。」

這番話解釋了馬斯克自己造成的延宕。9 月中旬,他介紹這款模型時稱它是「以我們新的 C++ 軟體堆疊訓練的 2.5T 模型」,並表示將會「本週完成訓練,接著開始 RL」。差不多同一時間,據 Analytics India Magazine 報導,他形容強化學習部分「仍有點像由許多不同第三方軟體系統拼湊而成的舊架構」,並稱會「適時」處理。到了 10 月下旬,他寫道:「我知道這比預期花了更久,但 Grok 4.8 不會令人失望。」最後發現,修正工作本身就是延誤的原因。預訓練程式碼早已換新;在模型繼續推進之前,負責教模型如何回應的部分,以及負責回答用戶問題的部分,都必須重新打造。

新聞標題所說的「C++ 重寫」,實際上主要用的是 C。有人問到使用的語言時,馬斯克回答:「C 為主,帶一點 C++,但不多。」他表示,這套系統源自 SpaceX 工程師為 Starlink 編寫的軟體(他還補充說:「在 SpaceX,我們自己寫標頭檔,也自行計算時間。」)。9 月時,他也說預訓練程式碼由 Starlink 團隊編寫,「不是由 AI 寫的」,因為「AI 還不夠擅長編寫極高效能的軟體(但未來會做到)。」

這項做法的理由,早在春季就已公開。5 月下旬,馬斯克表示,SpaceX 幾乎完成以 C 編寫的內部訓練系統,能「精確對應」一個配備 220,000 顆 Nvidia GB300 晶片的叢集;他並稱,與 JAX 相比,大型訓練工作可能快上「一個數量級以上」。6 月底,他承諾大約三個月後將會有「真正巨大的提升」,前提是整套訓練與推論系統都完成重寫,而且「大多數軟體層將被徹底刪除」。以這個時程推算,重寫工作約晚了六週才完成。所有速度提升的說法,目前都尚未經過公司外部的測量驗證。

自行掌握整套系統有利也有弊。捨棄 JAX 和 SGLang,讓 xAI 不必受制於他人的抽象層與發布時程,也能讓工程師直接針對某一款特定硬體調整軟體。但代價是,訓練流程和服務路徑上的每個錯誤,現在都只能由 xAI 自行承擔;這些程式碼在交到用戶手上前,也從未經過外部社群使用。

馬斯克也大幅降低了外界的期待。「幸好,Grok 4.8 和 4.7 將毫無相似之處。」他寫道,公開貶低了 xAI 在 9 月 21 日推出的模型。「它還稱不上令人驚豔,但這次地基打好了,所以我預期它會逐步進化,成為特別的產品。」不到一小時後,有人問 4.8 和 Anthropic 的 Opus 5.5 相比如何,他回答:「沒那麼好。Opus 5.5 是傑作。」他真正承諾的目標,還要更往後一些:「Grok 5 應該會超越 Opus 5.5,也許兩、三個月後就能做到。」

其他資訊目前仍付之闕如。負責追蹤相關資訊的觀察者指出,xAI 新聞頁面和開發者文件都沒有相關資料;目前沒有模型說明卡、基準測試、價格,也沒有 API 項目。2.5 兆參數這個數字只有馬斯克本人提出,他所說的評測結果正在攀升,也同樣沒有其他來源佐證。這款模型預計「本週稍晚」向 Grok Bot 用戶小規模推出,但沒有公布確切日期;馬斯克 10 月時則表示,這些請求大多會由「閃電般快速的 Grok 4.8 版本」處理。

因此,本週的推出更像是在測試底層系統,而非模型本身。如果模型能承受真實的 Grok Bot 流量,這次重寫就會成為訓練 Grok 5 的平台;如果表現不佳,也已沒有上游框架可以拿來當藉口。

標籤: , , , ,

在 Google 中新增我們

討論

共有 0 則留言。