Mistral Large 4 開放權重怎麼選？FP8、NVFP4 與自架授權檢查
本文目錄
選 Mistral Large 4（Le Chonk）的部署方式時，先判斷能否把程式碼送到官方 API，以及服務要開給誰用。只想用自己的測試任務判斷模型是否值得採用，而且資料允許外送，可以先試官方 API 的 mistral-large-4。有內部部署需求，再核對權重大小、硬體和授權，避免先下載數百 GB 才發現執行環境不符。
FP8 與 NVFP4 要看整份權重
Mistral 模型卡列出約 1 兆總參數，每個 token 啟用約 490 億參數，計入嵌入與輸出層則約 520 億。啟用數量描述的是當下參與運算的部分；下一個 token 可以走到不同專家。估算磁碟時應從整個 checkpoint 的檔案清單開始。
| 官方 checkpoint | 權重檔大小 | 選用時先確認 |
|---|---|---|
| FP8 | 約 1,061 GB，54 個分片 | 先核對框架的硬體支援與多卡配置 |
| NVFP4 | 約 610 GB，32 個分片 | 官方模型卡的原生 NVFP4 路線以 NVIDIA Blackwell 為目標 |
大小是 2026 年 11 月 9 日查詢 Hugging Face FP8 和 NVFP4 的檔案中繼資料，分別把 .safetensors 的 size 加總，再以十進位 GB 換算。這些數字只用於下載和磁碟規劃。運行時還要預留 KV cache、框架及並行請求的空間。官方雖列出 1M context，驗收應以服務實際設的長度和並行數為準。
Hugging Face 的整合文章另外指向 llama.cpp 的 GGUF 選項。那是另一份量化產物；硬體和品質判斷須依選定檔案重做。本文僅檢閱模型卡與檔案資料，未下載權重或在 GPU、Mac 上跑推論。
用服務對象核對 MaaS 條款
模型附帶的授權允許商業與非商業使用，但第 2 條對經營 Model-as-a-Service 業務的被授權人或其關係企業另有條件：在將模型或衍生作品用於商業用途前，須與 Mistral 簽署商業授權。第 3 條另列內部使用與透過 Mistral 官方產品使用的例外。
規劃時可以先畫一條請求路徑：誰能呼叫模型、是否為第三方、能否控制輸入、推論參數或訓練資料。員工專用且未對第三方提供模型的工具，和將自架模型做成讓客戶自行提交任意 prompt 的端點，需要核對不同條文。授權也區分僅嵌入特定功能的終端產品；介於兩者之間的產品應以實際介面和部署圖向授權方確認。
接 coding agent 前驗收一次工具往返
部署選型先做一個能在官方 API 與自架環境共用的小任務：給 agent 一個只含測試資料的 repository，要求它呼叫唯讀工具取一筆資料，再使用工具結果回答。記下模型 checkpoint 的 revision、推論框架、上下文上限及同時請求數。驗收時檢查工具參數格式、結果有沒有回到下一輪，以及請求是否真的落到所選模型。單輪聊天通過後，仍須在目標客戶端走完這次往返；端點差異可以用 自架模型接 Codex／OpenCode 的驗收流程繼續檢查。
參考資料：