Stripe Forge 評測教學:比較 Coding Agent 裝外掛前後
本文目錄
Stripe 串接產出一個能顯示結帳頁的 PR,仍可能漏掉 webhook 簽章驗證,或讓同一筆訂單重複出貨。想知道 Stripe plugin 能否讓 Claude Code 或 Codex 少犯這類錯,先在同一個案例下比較有無外掛,逐項看必要條件是否通過,再把產出放進 Stripe sandbox 驗證。
Stripe 公布的 78.1% 和 29.4% 差在哪?
Stripe 在 2026 年 11 月 19 日公開測試結果,涵蓋 69 個一次性付款、訂閱與 Connect 情境,測了 14 組模型和 agent 執行環境。加入官方外掛後,各組平均分數都上升約 3 到 8 個百分點,網頁搜尋次數下降 96%。但整體平均得分 78.1%,換成每個必要條件都要過的嚴格通過率,就降到 29.4%。這是 Stripe 的評測資料。Stripe 評測方法與結果
因此,團隊要先定義哪些缺漏足以擋下上線。以訂單交付為例,付款成功事件的驗證、事件重送與重複交付可列為 MUST。這類問題只看平均分數很容易被其他通過項目掩蓋。若要了解如何用固定樣本比較一般 skill,站內另有 Copilot Evals 的範例。
Forge 公開範例預設只跑 baseline
Forge 在隔離的 Docker 容器中執行 agent。角色扮演代理掌握案例需求並在互動時補充,評審依 MUST/SHOULD 清單讀取對話、工具結果和工作區證據。Forge 不會在對話後執行 agent 寫出的應用程式。
先依 Forge README 建置。查核的版本需要 Node.js 22.13 以上、pnpm 11.6.0,正式跑範例要能啟動 linux/amd64 Docker 容器。以下指令從 Forge 根目錄執行,只檢查實驗設定,無需模型金鑰:
node dist/cli.js validate --experiment release/experiment.yaml複製檔案到同一個 release/ 目錄,讓相對的 dataset 路徑仍有效。在複本的 treatments 加入外掛組,並把 matrix.treatments 改為同時含兩組。保留原本的 matrix.cases、matrix.agents、repetitions 等欄位。下面是需要合併的片段:
treatments: baseline: setup: [] stripe-plugin: setup: - uses: forge/plugin with: plugin: stripematrix: treatments: - baseline - stripe-plugin將複本命名為 release/experiment-ab.yaml,先用 validate 確認矩陣含兩次執行。以下是 Claude Code 搭配預設 OpenAI 角色與評審的正式執行指令示意。請先在測試環境準備 Anthropic、OpenAI 金鑰,以及 Stripe 測試環境的 Agent API key。這一步會呼叫計費模型。
node dist/cli.js validate --experiment release/experiment-ab.yamlnode dist/cli.js run --experiment release/experiment-ab.yaml --output ./results \ --credential-env ANTHROPIC_API_KEY \ --credential-env OPENAI_API_KEY \ --credential-env STRIPE_API_KEY若要比較 Codex,另建一份兩組都用 Codex 的實驗,並依 Forge 外掛文件 查所用 adapter 的金鑰。模型、案例和評審都固定時,才容易判斷差異從何而來。Forge 的外掛動作跟隨 marketplace 更新,記下安裝收據中的版本與內容指紋。
對照同一案例的失敗項目
先看兩組是否各自通過所有 MUST。某組若因外掛安裝或驗證失敗而沒有進入案例,另外記下執行失敗。比較報表時,抽查評審引用的證據是否真的支持通過。正式決策前,對同一案例重複執行並保留相同條件。
最後拿產出的應用程式在 sandbox 驗收。用一次性付款案例檢查實際可結帳、事件接收會驗證簽章,以及同一筆付款的多次通知只產生一次交付。本文只在本機驗證 Forge 的設定矩陣,未安裝外掛、啟動計費評測或執行 Stripe 交易。Stripe Checkout 交付文件
參考資料: