Tencent Hy4 FP8 自架要多少 GPU?容量、API 與授權
本文目錄
要自架 Tencent Hy4 FP8,先把節點的 GPU 型號、卡數和可用顯示記憶體列出來。vLLM 的 Hy4 配方以單台八卡 NVIDIA 節點為基準,列出約 944 GB 合計 GPU 記憶體。若供應商只寫「8 GPU」,還需要問清楚每張卡有多少記憶體、卡間互連與支援的框架。vLLM Hy4 部署配方
把磁碟與 GPU 預算分開算
Hy4 的文字骨幹總共約 770B 參數,每個 token 啟用約 49B。推論過程中,不同 token 會路由到不同專家。自架容量要對照整份 checkpoint 與執行時需求。
- 下載及快取。vLLM 配方列出 FP8 權重約 786 GB,BF16 約 1,549 GB。預留容器映像、快取與容器可使用的磁碟空間,並準備載入 checkpoint 的主機記憶體。
- 啟動節點。八張 80 GB H100 合計 640 GB,低於上述 FP8 配方門檻。八張 141 GB H200 合計 1,128 GB,可進一步核對配方的配置。這只是容量初篩,還要檢查每卡可用空間與 GPU 互連。
- 正式請求。模型卡標示 1,048,576 tokens 的上下文規格。服務上限要看引擎配置、KV cache 與並行量。先用目標工作負載量測,才能知道長請求會占用多少容量。
先做聊天服務時選 tencent/Hy4-FP8(FP8 指令版)或 tencent/Hy4(原始指令版)。預訓練的 base 權重是另一個用途。若你還在比較量化模型,可對照 Inkling 2 Small 的自架容量與 API 選用。
先驗短請求,再分開加長度與並行量
騰訊的 vLLM 範例使用 vllm/vllm-openai:hy4、tencent/Hy4-FP8 和八路 tensor parallel,模型服務名稱為 hy4。SGLang 也提供對應映像。部署時按選定框架及 GPU 型號的配方走,保留各自的推論與工具解析設定。vLLM 範例將每個請求限為最多一張圖、不接影片,這是該服務配置的限制。Tencent Hy4 模型卡 · SGLang Hy4 配方
- 在隔離的測試網路啟動服務,先查
GET /v1/models核對模型 ID。再用POST /v1/chat/completions送純文字短請求,確認收到有效回應。 - 每次只改一個條件。先固定一個同時請求,增加輸入長度,記錄各卡的峰值 VRAM 與首個 token 延遲。再固定可接受的輸入長度,逐步增加並行量,看錯誤率與延遲在哪一級開始上升。
- 若客戶端依賴工具呼叫或圖片,再送這兩類代表性請求。工具驗收應檢查回傳的函式名稱、參數和可解析性。圖片可先用一張公開測試圖核對允許的輸入格式與大小。
對外開端點前先核對授權第 10 條
Hy4 採用 Tencent Hy License 1.0,以 Apache 2.0 為基礎並增加商用條款。第 10 條把讓第三方透過 API 等方式使用通用推論或微調,列為 MaaS 的典型情境。條款列出兩種須另外取得書面授權的門檻,分別涉及任一連續 12 個月全球總營收超過 5,000 萬美元,以及產品或服務任一曆月活躍使用者超過 1 億。第 10.3 條也對純內部使用列有條件,包括模型、衍生物及輸出都不提供給第三方。Tencent Hy License 第 10 條
在申請 GPU 或決定開放客戶端點之前,可先列出誰能呼叫、能否提交任意輸入與自訂參數、是否會提供輸出給第三方。把這張清單連同授權原文交給負責授權的人確認,尤其是計畫從內部試用擴到客戶時。
參考資料: