940 字
5 分鐘

Tencent Hy4 FP8 自架要多少 GPU?容量、API 與授權

本文目錄

要自架 Tencent Hy4 FP8,先把節點的 GPU 型號、卡數和可用顯示記憶體列出來。vLLM 的 Hy4 配方以單台八卡 NVIDIA 節點為基準,列出約 944 GB 合計 GPU 記憶體。若供應商只寫「8 GPU」,還需要問清楚每張卡有多少記憶體、卡間互連與支援的框架。vLLM Hy4 部署配方

把磁碟與 GPU 預算分開算#

Hy4 的文字骨幹總共約 770B 參數,每個 token 啟用約 49B。推論過程中,不同 token 會路由到不同專家。自架容量要對照整份 checkpoint 與執行時需求。

  • 下載及快取。vLLM 配方列出 FP8 權重約 786 GB,BF16 約 1,549 GB。預留容器映像、快取與容器可使用的磁碟空間,並準備載入 checkpoint 的主機記憶體。
  • 啟動節點。八張 80 GB H100 合計 640 GB,低於上述 FP8 配方門檻。八張 141 GB H200 合計 1,128 GB,可進一步核對配方的配置。這只是容量初篩,還要檢查每卡可用空間與 GPU 互連。
  • 正式請求。模型卡標示 1,048,576 tokens 的上下文規格。服務上限要看引擎配置、KV cache 與並行量。先用目標工作負載量測,才能知道長請求會占用多少容量。

先做聊天服務時選 tencent/Hy4-FP8(FP8 指令版)或 tencent/Hy4(原始指令版)。預訓練的 base 權重是另一個用途。若你還在比較量化模型,可對照 Inkling 2 Small 的自架容量與 API 選用。

先驗短請求,再分開加長度與並行量#

騰訊的 vLLM 範例使用 vllm/vllm-openai:hy4、tencent/Hy4-FP8 和八路 tensor parallel,模型服務名稱為 hy4。SGLang 也提供對應映像。部署時按選定框架及 GPU 型號的配方走,保留各自的推論與工具解析設定。vLLM 範例將每個請求限為最多一張圖、不接影片,這是該服務配置的限制。Tencent Hy4 模型卡 · SGLang Hy4 配方

  1. 在隔離的測試網路啟動服務,先查 GET /v1/models 核對模型 ID。再用 POST /v1/chat/completions 送純文字短請求,確認收到有效回應。
  2. 每次只改一個條件。先固定一個同時請求,增加輸入長度,記錄各卡的峰值 VRAM 與首個 token 延遲。再固定可接受的輸入長度,逐步增加並行量,看錯誤率與延遲在哪一級開始上升。
  3. 若客戶端依賴工具呼叫或圖片,再送這兩類代表性請求。工具驗收應檢查回傳的函式名稱、參數和可解析性。圖片可先用一張公開測試圖核對允許的輸入格式與大小。

對外開端點前先核對授權第 10 條#

Hy4 採用 Tencent Hy License 1.0,以 Apache 2.0 為基礎並增加商用條款。第 10 條把讓第三方透過 API 等方式使用通用推論或微調,列為 MaaS 的典型情境。條款列出兩種須另外取得書面授權的門檻,分別涉及任一連續 12 個月全球總營收超過 5,000 萬美元,以及產品或服務任一曆月活躍使用者超過 1 億。第 10.3 條也對純內部使用列有條件,包括模型、衍生物及輸出都不提供給第三方。Tencent Hy License 第 10 條

在申請 GPU 或決定開放客戶端點之前,可先列出誰能呼叫、能否提交任意輸入與自訂參數、是否會提供輸出給第三方。把這張清單連同授權原文交給負責授權的人確認,尤其是計畫從內部試用擴到客戶時。

參考資料:

Tencent:Hy4 模型卡

vLLM:Hy4 部署配方

SGLang:Hy4 部署配方

Tencent:Hy License 原文

Tencent Hy4 FP8 自架要多少 GPU?容量、API 與授權
https://laplusda.com/posts/tencent-hy4-fp8-self-host/
作者
Zero
發佈於
2026-11-21
許可協議
CC BY-NC-SA 4.0