過去三年，關於AI的討論始終圍繞著誰能打造出最大的模型。而那個不那麼耀眼的問題——讓模型每天回答數百萬次、又不當機，到底要花多少錢——才是如今資金流失之處。由紅帽、IBM、Google Cloud、CoreWeave與輝達發起的開源推論專案llm-d推出1.0版，它瞄準的正是這個漏洞。

其中的機制值得講清楚。AI代理不會問一個問題就離開。它會維持冗長的工作階段，反覆讀取相同的文件，並啟動平行的輔助代理，以難以預測的突發方式衝擊硬體。在這種模式下，處理脈絡的成本可能高過產生答案本身。CoreWeave負責AI/機器學習工程的副總裁沙迪．薩巴表示，每個大規模提供模型服務的團隊都會碰上「管理成本往往高於輸出本身的脈絡」。llm-d的解方是路由：把每個請求送往已快取其脈絡的伺服器，而不是從頭重新運算。

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

1.0版與其說帶來新招，不如說是讓既有能力能安心連續運作數月。這個專案原本就在vLLM、SGLang等模型伺服器之上，提供感知快取的路由、KV快取卸載，以及把預填（prefill）與解碼（decode）兩個階段拆到不同機器上的功能。新版加入優先順序與公平性控制，讓對延遲敏感的請求與突發負載的代理能共用同一批GPU而不互相排擠；另有支援不停機升級的高可用性路由器、穩定的v1設定API，以及讓多輪對話始終貼近其快取狀態的工作階段感知路由。

公告中的效能數據來自貢獻者自己的展示，因此應視為其說法，而非獨立稽核。在其中一場展示裡，研究人員在廣泛部署的輝達GPU上執行約7530億參數的開放權重模型GLM 5.2，尖峰時每分鐘輸出逾660萬個token，並同時服務多達3000個程式設計代理；他們表示，以目前雲端租用價格計算，每個token的成本比同等商用API價格低五到十倍。IBM研究院則指出，在一項量子錯誤修正晶片的設計專案中，推論成本比完全專有的配置低11.5倍，快取命中率約98%。

更具說服力的是誰已經在仰賴它。JetBrains表示，其程式設計代理免費方案Junie Lite有相當比例的流量由llm-d承載；DigitalOcean的無伺服器推論建構在它之上，Mistral與Roblox也說明了以該專案打造的服務層。Google Cloud正在旗下全系列TPU與輝達GPU上將1.0整合進Google Kubernetes Engine，AMD則把它帶到自家的Instinct加速器。

llm-d創立於2025年，目前由雲端原生運算基金會（CNCF）託管，擁有來自逾25個組織、超過500名貢獻者。1.0版於2026年10月20日在聖荷西發表，現已以開源軟體形式提供。

其結果是權力天平的移動。如果AI昂貴之處在於服務而非訓練，那麼誰掌控服務層，誰就掌控帳單。llm-d試圖確保這一層維持共享與開放，而不是被鎖進單一供應商的API。

標籤: AI代理, nvidia, 大型語言模型, IBM, CoreWeave, Cloud Native Computing Foundation