582 字
3 分鐘

llama.cpp v1.0.0 升級檢查:移除的旗標、C API 與 FP8 KV cache

本文目錄

升級 llama.cpp v1.0.0 時,先用原模型和原 KV cache 設定讓新版本通過測試,再試 FP8。若啟動腳本還帶著 --defrag-thold,先移除旗標。若你的程式直接連結 libllama,則要用同版的標頭與函式庫重編。這兩種遷移故障分別出現在服務啟動和程式建置階段。v1.0.0 發布說明

先查服務實際使用的參數#

  1. 從服務定義、容器 entrypoint 或啟動腳本確認實際執行的二進位檔與參數。用新檔案的 llama-server --version 和 llama-server --help 核對,避免終端機的 PATH 指到另一份安裝。
  2. 若設定有 --defrag-thold,移除旗標與其值。固定 GGUF、上下文長度和 GPU offload 等條件,讓測試環境先完成一次與現行用戶端相同的推論請求。
  3. 有瀏覽器直接呼叫服務時,從平常的網頁來源走一遍請求並查看 Network 紀錄。v1.0.0 修正了 --cors-origins 等伺服器行為。若後端用戶端正常而瀏覽器失敗,先比對前端的實際 Origin 與服務允許的來源。伺服器變更

只呼叫 HTTP API 的應用程式以服務回歸為主。直接引用 llama.h 的應用程式則需要重編整個呼叫端。發布說明列出 llama_set_warmup 等舊 API 的移除、NextN API 移入公開標頭,以及 llama_set_embd_state_src 更名為 llama_set_ctx_state_src。優先處理編譯器指出的呼叫點,接著跑一次模型載入、生成與釋放,避免只靠連結成功判定整合可用。

FP8 KV cache 單獨驗收#

-ctk f8_e4m3 和 -ctv f8_e4m3 分別設定 K、V 快取型別。先保存舊格式在 v1.0.0 的結果,再以同一模型、後端與並行量跑 FP8。至少用一筆短請求和一筆接近實際上限的請求,分別記錄裝置記憶體峰值與首 token 延遲。涉及固定 JSON 格式或長文件定位時,用原有測試資料驗證結果仍符合要求。這個比較聚焦於 KV cache,GGUF 權重保持相同。核心變更

本文依 v1.0.0 release 整理驗收流程。若你的工具是透過 Ollama 選用模型,可先對照 OpenClaw 的 Ollama 模型設定 確認實際整合入口,再決定這份 llama-server 清單是否適用。

參考資料:

ggml-org:llama.cpp v1.0.0 release

llama.cpp v1.0.0 升級檢查:移除的旗標、C API 與 FP8 KV cache
https://laplusda.com/posts/llama-cpp-v1-upgrade-checklist/
作者
Zero
發佈於
2026-11-14
許可協議
CC BY-NC-SA 4.0