1740 字
9 分鐘

Hugging Face harness adapters:替 Pi、OpenCode、Hermes Agent 換上 Qwen3.8-27B LoRA

驗證於

本文目錄

本機已經用 Qwen3.8-27B 跑 coding agent,常見的抱怨是同一個任務繞好幾圈:工具一直呼叫、token 一直燒,最後還沒做完。Hugging Face 11 月 20 日發表的 harness adapters 就是針對這件事:模型權重不動,替每個 agent harness 各訓一個 LoRA,讓模型在那個 harness 裡少繞路、一次做對。

官方給的例子:Qwen3.8-27B 搭 Pi 跑 Terminal-Bench 2.1,原本 pass@1 是 39%、每個任務平均用 2.9K tokens;掛上 Pi 專用的 adapter 後是 55%,平均 1.5K tokens。官方的解釋是模型想得比較少、工具叫得比較少,第一次就做對的比例變高。

這些 adapter、GGUF 版本和訓練任務都公開在 harness-hub 底下,授權是 Apache-2.0,和 Qwen3.8-27B 本身相同。

該下載哪一個:專用 adapter 還是 super adapter#

官方釋出四個 Qwen3.8-27B 的 adapter:

Adapter適用
harness-hub/Qwen3.8-27B-pi-adapted只用 Pi
harness-hub/Qwen3.8-27B-opencode-adapted只用 OpenCode
harness-hub/Qwen3.8-27B-hermes-adapted只用 Hermes Agent
harness-hub/Qwen3.8-27B-super-adapter三個 harness 都會用,或要開 thinking

super adapter 模型卡直接給了選法:只用一個 harness、關 thinking,用該 harness 的專用版;多個 harness 輪流用,或要開 thinking,用 super adapter。

理由在數字裡。關 thinking 時,專用版在六組 harness × benchmark 裡有四組贏 super adapter,差最多的是 Pi:SWE-bench Pro(最難的 51 題)專用版 64.0%,super adapter 只有 46.0%。三個 adapter 合在一起,Pi 犧牲最多。開 thinking 時情況反過來,super adapter 在六組裡有五組贏過同樣開 thinking 的原版模型,一組打平。要注意,專用版都是在 thinking 關閉的狀態下訓練的,super adapter 開 thinking 的表現只有評測過、沒有針對訓練。

另一個值得知道的結果:Pi 的專用版拿去 OpenCode 跑 Terminal-Bench 2.1,成績(44.8% → 54.0%)和 OpenCode 自己的專用版(46.4% → 52.4%)差不多,在 Hermes Agent 下也保留了約三分之二的提升。換 harness 不至於完全失效,但官方也測了不在這三個 harness 裡的 AutomationBench 商務自動化任務,Pi 與 OpenCode 版略高、合併版持平、Hermes 版低了幾個百分點,官方判斷大多在誤差範圍內。用在完全不同的任務類型,別期待一樣的提升。

用 vLLM 掛上 adapter,再讓 harness 指過去#

模型卡的做法是 vLLM 載入原版 Qwen3.8-27B,再以 LoRA 掛上 adapter,對外提供 OpenAI 相容 API:

Terminal window
vllm serve Qwen/Qwen3.8-27B \
--enable-lora --max-lora-rank 128 \
--lora-modules qwen3.8-super=harness-hub/Qwen3.8-27B-super-adapter \
--language-model-only --enable-prefix-caching --mamba-cache-mode align \
--enable-auto-tool-choice --tool-call-parser qwen3_xml --reasoning-parser qwen3 \
--max-model-len 131072

幾個容易漏的參數:

  • super adapter 的 rank 是 96,vLLM 只接受特定的上限值,所以 --max-lora-rank 要設 128。
  • Qwen3.8-27B 是混合架構,prefix caching 要搭配 --mamba-cache-mode align,不然 agent 每一回合都會重讀整段歷史。
  • chat template 預設開 thinking(模型卡建議 super adapter 開著用)。要關掉,加 --default-chat-template-kwargs '{"enable_thinking": false}'。

接著把 harness 指到 http://localhost:8000/v1,模型名稱用 --lora-modules 取的名字(上例是 qwen3.8-super)。以 Pi 為例,在 ~/.pi/agent/models.json 加一個 provider:

{
"providers": {
"local": {
"baseUrl": "http://localhost:8000/v1",
"api": "openai-completions",
"apiKey": "dummy",
"models": [{ "id": "qwen3.8-super" }]
}
}
}

"api": "openai-completions" 不能省。少了它 Pi 會改用 Responses API,而 adapter 沒有在那個模式下評測過。OpenCode 寫在 ~/.config/opencode/opencode.json 的 provider,用 @ai-sdk/openai-compatible;Hermes Agent 寫在 ~/.hermes/config.yaml,provider 設 custom,而且至少要 64,000 tokens 的 context。完整範例都在模型卡上。Pi 的權限與 MCP 設定,可以對照站內的 Pi 1.0 工具權限整理。

用 llama.cpp 跑 GGUF:Mac 先看檔案大小#

沒有 NVIDIA 顯示卡,可以用 GGUF 版本。模型卡的做法是下載原版的 GGUF,再以 --lora 掛上 adapter:

Terminal window
hf download ggml-org/Qwen3.8-27B-GGUF Qwen3.8-27B-Q8_0.gguf --local-dir .
hf download harness-hub/Qwen3.8-27B-super-adapter-GGUF Qwen3.8-27B-super-adapter-lora-F16.gguf --local-dir .
llama serve -m Qwen3.8-27B-Q8_0.gguf --lora Qwen3.8-27B-super-adapter-lora-F16.gguf \
-c 131072 --port 8080 --alias qwen3.8-super

指令名稱依你裝的 llama.cpp 版本為準,先用 --help 確認支援 --lora。v1.0.0 拿掉了一些舊參數,升級時要注意的地方整理在 llama.cpp v1.0.0 升級檢查。

依 11 月 22 日 Hugging Face 上的檔案清單,大小大致是:

檔案大小
Qwen3.8-27B-Q8_0.gguf(原版)約 28.6 GB
Qwen3.8-27B-Q4_K_M.gguf(原版)約 19.4 GB
super adapter LoRA(F16)約 0.96 GB
單一 harness 的 LoRA(F16)約 0.32 GB

Pi 另外有一個已經合併好的 Qwen3.8-27B-pi-Q8_0.gguf(約 28.6 GB),不用另外掛 LoRA。

這只是權重本身,131,072 tokens 的 context 還要另外吃 KV cache,記憶體實際用量要開起來看。模型卡提醒,adapter 是在 BF16 權重上訓練的,base GGUF 越接近原始精度,行為越接近評測結果;Q8_0 是合理的預設值,位元數更低的量化偏差更大,而且 GGUF 版本沒有重新評測。為了省記憶體改用 Q4,就得自己驗收效果。在 Mac 上怎麼量記憶體壓力、怎麼驗證本機 API 的工具呼叫,可以參考 Inkling 2 Mini 在 Mac 本機跑的流程。

官方數字要怎麼看#

模型卡上的成績都有固定條件:每題只跑一次、100 步上限、131,072 tokens 的 context、只用文字、temperature 0.8。官方也說明,這些數字不能和 Qwen3.8-27B 自己模型卡上的分數直接比,那邊用的是別的 harness、更大的預算,SWE-bench Pro 也是全集。

還有幾個細節會影響解讀:

  • 題數不多:SWE-bench Pro 只取最難的 51 題,Terminal-Bench 2.1 是 89 題。模型卡自己承認,單一列的差距多半在雜訊範圍內,把六組合併看才有統計意義。
  • 部分提升來自「在預算內做完」:原版模型常常用光 100 次模型呼叫還沒做完,adapter 比較早收斂。自己比較時,兩邊要用一樣的步數上限,不然看不出差在哪。
  • 官方自己提出的疑問:檢查軌跡時發現,adapter 在關 thinking 的模式下,呼叫工具前會先寫一小段像推理的文字(例如「wait、let me see」),官方稱為 reasoning leakage。他們認為結果仍然成立,但這代表關 thinking 的 adapter 不完全是「不思考」。

所以實際要不要換,最可靠的方式是拿自己 repo 裡的真實任務,原版和 adapter 各跑一輪,比完成率、工具呼叫次數和 token。站內的 自架模型接 coding agent 驗收方式 有一套可以直接套的測試項目。

想用自己的任務訓練:先看硬體門檻#

官方把整套流程公開了:任務資料集 harness-hub/agentic-coding-envs(871 題,來自 35 個 repo)、用 openenv validate 驗證任務、TRL 的 AsyncGRPOTrainer 做 RL,rollout 在 Hugging Face Jobs 的沙箱裡跑,再用 safeagents 擋掉訓練中的危險工具呼叫。

門檻在硬體:每個 harness 的 adapter 用了 2 張 NVIDIA B200,一張跑 vLLM、一張跑訓練。LoRA 設定是 r = 32、alpha = 64,學習率最後定在 2e-5。官方也提到,任務太簡單(每次都過)或太難(每次都失敗)都學不到東西,他們只留原版模型「有時過、有時不過」的題目。自己準備任務時,這個篩選比堆題數重要。

只是想讓本機的 coding agent 好用一點,直接下載現成的 adapter 就夠了;要自己訓練,得先有能長時間租用資料中心等級 GPU 的預算。

參考資料:

Hugging Face:Introducing harness adapters

Hugging Face:Qwen3.8-27B super adapter 模型卡

Hugging Face:Qwen3.8-27B Pi adapter 模型卡

Hugging Face:Qwen3.8-27B GGUF 檔案

Hugging Face harness adapters:替 Pi、OpenCode、Hermes Agent 換上 Qwen3.8-27B LoRA
https://laplusda.com/posts/hugging-face-harness-adapters-qwen-lora/
作者
Zero
發佈於
2026-11-22
許可協議
CC BY-NC-SA 4.0