784 字
4 分鐘

Inkling 2 Mini 在 Mac 怎麼跑?記憶體與本機 API

本文目錄

20 GB 指 Inkling 2 Mini 原始混合精度 checkpoint 的大小。 Thinking Machines Lab 的模型卡列出的 Apple Silicon 支援條件是 32 GB 以上的統一記憶體。若手上是 24 GB Mac,可以從較小的 GGUF 評估,並用記憶體壓力和實際任務決定能否負擔,先別把它當成已驗證的配置。Inkling 2 Mini 官方模型卡

Mini 是 2026 年 11 月 20 日釋出的獨立模型,約 26.4B 總參數、每個 token 約 3.4B 活躍參數。要估算記憶體,先查你實際下載的權重,並留空間給執行環境與上下文快取。站上另一篇 Inkling 2 Small 的 API 與自架門檻 談的是資料中心等級的 Small。

Mac 上從哪個版本開始?#

你想做的事起點開跑前要核對
先聊天,再接本機工具Llama App,選固定迴圈版 Inkling 2 Mini確認 App 載入的是預期量化檔,以及它顯示的本機端點
控制啟動參數和服務環境llama.cpp 支援 Inkling 2 Mini 的版本,先用 GGUF IQ4_NL固定下載檔和執行版本,記下上下文設定
在 Apple Silicon 對照原始權重Hugging Face 發布文所列的 MLX 支援核對安裝版本是否支援這個架構,先做單一短請求

ggml-org 檔案清單顯示,IQ4_NL 約 17.6 GB,Q8_0 約 27.8 GB。若要跑圖像輸入,還要確認執行環境選用的視覺投影檔。MLX 支援直接載入原始混合精度權重,Hugging Face 也提供 MLX 量化的線索。Hugging Face 發布與執行指引 · ggml-org GGUF 檔案與大小

先以短文字測試,打開 macOS「活動監視器」的記憶體分頁,比較載入前、送出請求後和連續使用幾輪的記憶體壓力與交換空間。若短請求已明顯擠壓平常使用的編輯器和瀏覽器,先縮小上下文或改用較小的量化檔。模型標示可支援 1M tokens,你的本機上下文仍要按載入方式和實際記憶體規劃。

接 coding agent 時驗兩種請求#

Llama App 提供本機 OpenAI 相容 API。從 App 取得實際 base URL 和模型 ID,先在能指定自訂端點的客戶端測一個文字回覆。命令列則可依發布文件範例,用 llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL 啟動固定迴圈版。啟動前要先備妥權重下載空間,使用支援這個模型的執行檔。

短文字能正常回應後,把 coding agent 指向同一端點,讓它在獨立測試目錄讀一份既有文字檔。檢查 agent 日誌裡有沒有結構化工具呼叫、參數是不是該檔案路徑,並核對最後回答是否來自讀回內容。如果聊天成功、工具失敗,先查客戶端的工具格式及伺服器的聊天模板。能穩定完成這一步,再逐步換成平常的程式碼輸入長度,重複檢查工具參數與記憶體壓力。

參考資料:

Thinking Machines Lab:Inkling 2 Mini Model Card

Hugging Face:Welcome Inkling 2 Mini

ggml-org:Inkling 2 Mini GGUF

Inkling 2 Mini 在 Mac 怎麼跑?記憶體與本機 API
https://laplusda.com/posts/inkling-2-mini-mac-local-api/
作者
Zero
發佈於
2026-11-21
許可協議
CC BY-NC-SA 4.0