Inkling 2 Small 開放權重怎麼跑？500 GB VRAM 與 API 選用
本文目錄
如果現有 GPU 叢集總顯示記憶體低於 500 GB，先用供應商 API 評估 Inkling 2 Small。500 GB 是官方模型卡對 NVFP4 checkpoint 列出的門檻。Thinking Machines Lab 於 2026 年 11 月 12 日宣布可下載權重，模型卡標示 Apache 2.0。發布公告 · 官方模型卡
用現有機器對照兩個 checkpoint
| 官方格式 | 叢集顯示記憶體門檻 | 模型卡列的配置例子 |
|---|---|---|
| NVFP4 | 至少 500 GB | 2 張 NVIDIA B300 或 4 張 H200 |
| MXFP8 | 至少 800 GB | 4 張 NVIDIA B300 或 8 張 H200 |
模型卡列出總參數約 594B，每次啟用約 17B。評估自架時，用整份 checkpoint 和官方支援的 GPU 組合規劃，接著用實際框架的切分方式、上下文與同時請求數確認容量。若兩種格式都能部署，可先選原廠建議的 NVFP4。若同一組任務在 NVFP4 下達不到你訂的品質門檻，再比較 MXFP8 的結果與資源成本。
容量驗收可依序跑短請求、代表性長請求，再提高到預期並行量。若只在最後一步出現記憶體不足，先把可接受的並行數量測出來，再決定調低服務上限或增加容量。另一個大模型的權重磁碟規劃範例可用來補做下載容量估算。
用你的工作負載試 API，再決定要不要租 GPU
官方公告列出 NVIDIA、Fireworks、Together 等提供 API。先選一個資料允許外送的端點，記錄供應商、model ID、實際上下文上限、是否接受圖像與工具定義。模型卡標示最高 1M tokens，端點上限要看所選方案與路由。
以介面修改為例，可以送一張測試頁截圖加一則固定需求，檢查模型是否找得到畫面上的問題。接著用同一個最小專案測一筆工具呼叫，驗收參數是否符合 schema、應用程式能否讀回工具結果，以及最終改動能否通過測試。最後用實際長度的輸入測延遲，記錄成功率與每個完成任務的費用。這三項結果能作為自架驗收的比較基準。此處的硬體數字來自模型卡，未下載權重或執行供應商推論。
參考資料：
Thinking Machines Lab：Inkling 2 Small 發布公告