Copilot Evals 入門:固定樣本比較 Skill 修改前後結果
本文目錄
改完 skill,代理寫出的摘要更流暢,卻把未完成工作也放進發布紀錄,這樣仍然是回歸。先固定輸入、預期輸出與不可改動的檔案,再比較修改前後的結果,才有辦法判斷 skill 是否改善。
GitHub 在 2026-11-17 發布 Copilot Evals public preview,採本機 Vally 作為評估引擎,測試對象包括 skill、custom agent 和 MCP 工具。官方公告
在自己的 Copilot 入口安裝
VS Code 可從 Marketplace 安裝 GitHub 發布的 GitHub.copilot-evals 擴充。Copilot app 可在 Customize 加入 github/evals marketplace 並安裝外掛。CLI 的官方 README 提供以下指令:
copilot plugin marketplace add github/evalscopilot plugin install eval@github-copilot-evals依 2026-11-18 檢閱的 README 固定版本,CLI 的 /eval 指令與 Canvas 目前需要 experimental mode;可在對話輸入 /settings experimental on,再看 /eval help。未啟用時仍可用自然語言要求內部技能執行相應工作。這裡只檢閱安裝指令,沒有替讀者執行安裝。
Runner 與專案設定分開處理:Canvas 的 Settings → Advanced → Install eval runner 負責安裝 runner,/eval setup 用來設定專案 eval 資料夾及測試套件。README 列出 Node.js 最低版本為 CLI Plugin 24.0.0、VS Code 22.14.0,Vally CLI 最低 0.19.0;native custom-agent/MCP 執行另列 Copilot CLI 1.0.85、Git 2.28.0。
先寫出會抓到錯誤的樣本
以下是本文設計的發布摘要 skill 測試素材,不是 Vally YAML schema。可在獨立測試專案建立兩份 Markdown 輸入:
ID: #101Status: completedChange: 修正空白標題驗證
# issue-102.mdID: #102Status: openChange: 新增 CSV 匯出在 /eval create 中描述這組任務:
為目前的發布摘要 skill 建立 eval。輸入是 issue-101.md 和 issue-102.md,只把 completed 工作寫進摘要。驗收:摘要包含 #101 及其變更;不把 #102 寫成已完成或已發布;保留正確 issue ID;兩份輸入檔內容不得改動。請先列出 fixtures、執行方式和各項檢查,再儲存 eval。這組樣本的價值在於,代理即使交出好讀的文字,只要把 CSV 匯出列為已發布,也會被單獨抓出。檢查 #102 時,判斷「是否被說成已完成」比只檢查字串是否出現更符合需求;如果你的格式本來就有未完成區塊,提到 #102 可以合理通過。
儲存前閱讀生成的 eval 定義,確認兩份素材真的成為輸入,且「不得修改」有檔案比對等可驗證方式。生成的 YAML 和 grader 會影響判定,應依安裝版本檢閱,本文沒有提供未經驗證的欄位名稱。
比較時一次只改 skill
先以舊版 skill 跑 /eval run,保留報告與 skill 版本;接著修改 skill,再對同一組樣本執行。使用 /eval compare 檢視兩次紀錄,逐項查看完成項目、錯誤歸類與檔案變更。
比較時固定模型、工具權限和輸入。若連模型一起換,結果只能解釋為「這組設定變動後的結果」,較難歸因到 skill。遇到偶發通過或失敗,保留每一次結果,增加重複執行來觀察穩定性,並先設定可接受的測試成本。
尤其要查對話 trace:如果代理先改掉輸入的 Status 再產生正確摘要,輸出檢查可能過關,檔案不變的條件仍應失敗。這也是把結果與執行過程分開驗收的原因。若你正在規劃代理工作的一般驗收,可搭配 AI Agent 執行迴圈。
儲存、讀報告和執行是不同成本
README 說明,驗證檔案與讀取、比較已儲存結果不會發出模型呼叫;每次 eval run 或 grader test 會先揭露執行影響及 token/credit 成本並要求核准。Setup scripts、工具與自訂 grader 可在本機權限下執行程式,AI judge 也可能產生費用。
本文完成官方流程與 README 檢閱,設計了上述測試輸入及提示;尚未在已登入 Copilot 的環境產生 eval 定義、執行 Vally 或取得比較報告。實際採用時,將「eval 已存檔」「run 已完成」「各項條件通過」分開記錄,才能知道還缺哪一步。
參考資料: