適合:想在自己電腦跑模型的人、在自架和 API 之間猶豫的團隊
本機 LLM:在自己的電腦跑模型
想在自己的電腦跑開源模型,卻不知道顯示卡夠不夠、該用哪套工具?這個專題從估算硬體需求開始,帶你用 Ollama 或 llama.cpp 把模型跑起來,試試本機生圖,再接進平常用的工具。
我的電腦跑得動嗎?
參數量不等於要下載的大小。先算清楚記憶體和硬碟,再決定自己跑還是用 API。
- 1. 確認消費級顯示卡夠不夠
Strata 本機 AI:12GB 顯示卡夠嗎?先查 RAM、模型與完整任務
Strata 能在消費級電腦執行 Qwen3.8-Flash-Next,但 12GB VRAM 只是部分條件。本文依官方文件拆解 RAM、量化版本、磁碟與上下文選擇,提供啟動、短對話及完整工作任務的分階段驗收,避免把短對話 tokens/s 當成自己的實際效率。
- 2. 核對權重下載與執行記憶體
Muse Spark Open 能在本機跑嗎?先核對權重容量與部署條件
Muse Spark Open 的 42B 活躍參數不等於只需載入 42B 權重。本文用公開模型檔案 metadata 核對下載容量,區分儲存空間、執行記憶體與雙 Mac 展示條件,整理自架或託管 API 的選擇順序,避免從 open-weight 公告直接跳到購買硬體。
- 3. 比較 FP8 與 NVFP4 權重
Mistral Large 4 開放權重怎麼選?FP8、NVFP4 與自架授權檢查
Mistral Large 4 的 FP8 與 NVFP4 權重已公開,但每個 token 啟用的參數量不能拿來估算下載或部署容量。本文比較兩份權重的實際檔案大小、Blackwell 路線與 MaaS 授權邊界,並整理接上 coding agent 前應驗收的項目。
- 4. 判斷長 context 的記憶體邊界
Ripple-65B Preview 能自架嗎?BF16、NVFP4 與託管 API 的選擇
Ripple-65B Preview 提供開放權重與託管入口,但模型能下載不等於現有電腦就能跑。本文區分 BF16、實驗性 NVFP4 與 Base checkpoint,說明長 context 的記憶體邊界,並提供先用託管端驗任務、再評估本機部署的流程,避免把官方跑分當成自己的 agent 成效。
- 5. 門檻太高時改走 API
Inkling 2 Small 開放權重怎麼跑?500 GB VRAM 與 API 選用
Inkling 2 Small 已釋出 NVFP4 與 MXFP8 權重。本文用官方模型卡的 500 GB、800 GB 顯示記憶體門檻判斷自架條件,並說明先走 API 時如何驗收圖像輸入、工具呼叫與長上下文,避免把模型規格直接當成供應商端點的上限。
模型跑不起來怎麼辦?
找不到模型、瀏覽器呼叫被擋、升級後起不來,先查模型名稱、服務位址和啟動參數。
- 6. 排查 model not found
Ollama 出現 model not found 怎麼辦?從 API、模型名稱到執行中程序排查
Ollama 回傳 model not found 或 404 時,先用 /api/tags、ollama list 和 /api/show 對照模型名稱,再檢查 host、cloud tag 與實際載入狀態。
- 7. 開放瀏覽器跨來源呼叫
在 Ollama 中設置跨域資源共享 (CORS) 方法
Ollama 遇到跨域資源共享 (CORS) 問題時,需要在 macOS 和 Linux 上設置環境變數。
- 8. 升級 llama.cpp v1.0.0
llama.cpp v1.0.0 升級檢查:移除的旗標、C API 與 FP8 KV cache
llama.cpp v1.0.0 移除 --defrag-thold 與多個舊 C API,也新增 FP8 KV cache。本文說明如何從服務啟動參數與編譯錯誤找出升級阻礙,並把推論、瀏覽器跨來源請求和快取格式變更拆開驗收,方便定位回歸。
本機生圖值得試嗎?
以 Qwen-Image 為例,看實際要多少顯存、出一張圖要多久、圖裡的字準不準。
- 9. 選擇模型格式與出圖工具
Qwen-Image-2.1 本機部署:顯存需求與 ComfyUI、Unsloth 設定
想在自己的電腦執行 Qwen-Image-2.1?本文依官方硬體估算比較 GGUF、FP8 與 CPU offload,整理 12GB、24GB 顯卡選擇、Unsloth 出圖步驟及 ComfyUI 圖片編輯工作流,並說明低顯存設定的限制。
- 10. 看 MacBook Air 的實際耗時
Qwen-Image-2.1 在 MacBook Air M3 16GB 的出圖實測
MacBook Air M3 16GB 跑 Qwen-Image-2.1 要等多久?這篇整理同一套 MLX 4-bit 模型的六張實測結果,包含首次下載占用、不同尺寸與步數的耗時、記憶體峰值,以及這些數字不能直接外推的原因。
- 11. 檢查圖中文字的準確度
Qwen-Image-2.1 生圖文字準確嗎?六張本機樣本的觀察
Qwen-Image-2.1 在圖片裡寫中文字與英文的效果如何?本文只根據六張本機樣本記錄短中文、短英文與較長英文的目視結果,說明樣本數與提示詞差異的限制,並提供正式使用前可重做的逐字檢查與驗收方法。
跑起來之後能拿來做什麼?
把模型接進程式碼分析、coding agent 和判斷類工具,確認它撐得住真正的工作。
- 12. 用 Ollama 分析本機程式碼庫
DeepWiki-Open + Ollama:本機 Repo 分析的安裝踩坑全記錄
從零開始在 macOS + Docker 環境安裝 DeepWiki-Open,搭配 Ollama Cloud 模型分析本機程式碼庫,記錄 7 個踩坑與解決方案。
- 13. 驗收自架模型接 coding agent
自架模型接 Codex/OpenCode:相容 API、延遲與成本怎麼驗收
自架模型能回覆聊天,不代表能完整承接 Codex 或 OpenCode 的 coding agent 工作。本文區分 Responses 與 Chat Completions 相容性,提供工具回合、上下文、取消、併發和回復測試,以及每個驗收成功任務的成本計算方式,避免直接套用別家 GPU 部署的節省比例。
- 14. 在本機跑判斷用的小模型
Laya 本機 System One 模型:安裝、用法與 Jev 比較
Laya 可在本機執行 Choice、Score 與 Noul,但長文件截斷、語言路由與信心校正會影響判斷。本文整理 Python 安裝、multilingual 長上下文設定、二元判斷的標籤偏差,以及與 Jev 選用時應確認的資料邊界和驗收方法,避免把套件更新或單一基準高分當成正式準確率。