技術

蘋果官方認證TinyGPU,Mac Mini搖身變本地AI工作站

Susan Hill

蘋果正式簽署並認證了由喬治·霍茲(George Hotz)旗下Tiny Corp開發的驅動程式TinyGPU。Apple Silicon問世以來首次,Mac用戶可以透過Thunderbolt或USB4介面接上外接Nvidia或AMD顯卡,並將其用於人工智慧運算任務——不需停用系統安全機制,不需任何非官方的破解手段。一台699美元的Mac Mini,如今可在本機端運行270億參數的大型語言模型。

2020年蘋果轉向自研晶片後,Apple Silicon機型上的外接顯卡支援事實上已完全中斷。過去的嘗試都需關閉macOS核心安全層「系統完整性保護」(SIP),而這項操作從未獲得蘋果官方認可。TinyGPU透過蘋果的DriverKit框架在macOS標準安全範圍內運作,只需在系統設定中啟用驅動程式擴充功能,無需任何系統層級的修改。

值得注意的是,霍茲並非一般的軟體開發者。他是最早破解初代iPhone的駭客,也是自動駕駛與AI硬體領域的知名人物。這次蘋果選擇官方認證他旗下公司開發的驅動程式,本身就是一個耐人尋味的信號。

實測數據

據Tiny Corp公布的測試結果,透過Thunderbolt接上AMD Radeon RX 7900 XTX的Mac Mini,可以每秒18.5個token的速度運行Qwen 2.5 27B模型。外接RTX 4090時,社群基準測試顯示Llama系列模型在Q4量化設定下可達每秒45至50個token——這個效能水準,此前需要貴上好幾倍的專用AI硬體才能企及。

對於已透過Ollama或Llama.cpp將Mac Mini用作本地推理伺服器的用戶而言,影響立竿見影。原本因超出統一記憶體(Unified Memory)上限而必須分段載入的大型模型,現在可以完整常駐在外接顯卡的VRAM中,推理速度大幅提升,不再需要分片處理。

限制同樣清楚

TinyGPU僅支援AI運算工作負載,這一點必須說清楚。它不加速螢幕輸出,不提升遊戲效能,也無法替代Apple Silicon內建GPU在影片剪輯或圖形設計上的功能。AMD RDNA3世代及更新型號的安裝流程相對直覺;Nvidia Ampere世代及更新型號則需額外安裝Docker Desktop,對不熟悉開發環境的用戶存在一定門檻。Thunderbolt 4的頻寬也構成物理上限——同一張顯卡直接裝在PCIe插槽的效能,明顯優於外接連線方案。

Mac Pro悄然停產,Mac Mini頂上

更關鍵的問題在於:這件事為何在這個時間點發生?蘋果在同一個月,不聲不響地下架了Mac Pro的產品頁面,既無正式公告,也無後繼機型宣布。Mac Pro是蘋果唯一的模組化桌上型電腦,是專業用戶唯一能自行擴充運算資源的機型。TinyGPU獲批與Mac Pro停產幾乎同步,這個時間點的巧合很難說是偶然。蘋果給出的隱性答案似乎是:需要高強度AI算力的Mac用戶,往後不會有一台蘋果自家的塔式機等著他們——而是一台Mac Mini加上外接硬體的組合。

據Tom’s Hardware與TechRadar報導,這是蘋果首次透過DriverKit機制官方認證Apple Silicon平台的第三方外接GPU運算驅動程式,在向來以封閉著稱的蘋果硬體生態中,確實是一個前所未有的先例。

最低系統需求為macOS 12.1或更新版本、Thunderbolt 3、4或USB4介面,以及安裝在具備充足供電能力之eGPU外接盒中的相容顯卡。TinyGPU可透過Tiny Corp官方文件與GitHub儲存庫取得。

討論

共有 0 則留言。