MTPLX/Inkling 2 Mini

在 Mac 上執行 Inkling 2 Mini 的最快方式。

Inkling 2 Mini 是 Thinking Machines Lab 發布的開放權重模型,用於程式設計與影像理解。MTPLX 2.13 以專為它撰寫的 Metal 核心和模型自帶的草稿頭執行它,因此輸出維持模型本身的分佈:在 MacBook Pro M5 Max 上 Bare Speed 達到 128.8 tok/s(記錄到的最快回答)。

實測速度

MacBook Pro M5 Max(128 GB),MTPLX 2.13,溫度 1.0(模型本身的取樣設定)。生成速度是每個模型包記錄到的最快數值:Bare Speed 是提示已在快取中時的 128 個 token 回答,Optimized Speed 是 App 中的 166 個 token 回答,Optimized Quality 是 App 中一則回答的前 32 個 token。第一個 token 與預填以 4,142 個 token 的新程式提示量測(Bare Speed 三次、Optimized Speed 一次、Optimized Quality 兩次)。在發熱的 Mac 上,長時間的工作階段會變慢。

模型包生成第一個 token預填充下載
Bare Speed128.8 tok/s1.69 s2,466 tok/s16.0 GB
Optimized Speed123.8 tok/s1.73 s2,397 tok/s17.2 GB
Optimized Quality103.8 tok/s1.84 s2,257 tok/s20.2 GB

我的 Mac 用哪個模型包

MTPLX 會讀取晶片和記憶體,只提供裝得下的模型包。

你的 Mac建議模型包也裝得下上下文
8 GB, M3、M4 或 M5沒有裝得下的模型包。MTPLX 建議使用 Qwen 3.5 4B Optimized Speed。
16 至 18 GB, M3、M4 或 M5沒有裝得下的模型包。MTPLX 建議使用 Bonsai 2 27B Optimized Speed。
24 GB, M3、M4 或 M5Inkling 2 Mini Bare Speed無24,576 個 token
32 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality163,840 個 token
36 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality245,760 個 token
48 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality434,176 個 token
64 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality749,568 個 token
96 至 512 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality1,048,576 個 token
8 GB, M1 或 M2沒有裝得下的模型包。
16 至 24 GB, M1 或 M2沒有裝得下的模型包。MTPLX 建議使用 Qwen 3.5 9B Optimized Speed FP16。
32 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP16163,840 個 token
64 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP16749,568 個 token
96 至 192 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP161,048,576 個 token

如何執行

在 App 中選擇 Inkling 2 Mini Bare Speed。在終端機中:

brew install youssofal/mtplx/mtplx
mtplx pull Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed
mtplx start opencode --model Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed

可以把 opencode 換成 pi 或 hermes。在 M1 或 M2 上請使用 FP16 版本:Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed-FP16。

每個模型包都需要 MTPLX 2.13 或更新版本。

下載 Mac 版

將 MTP 帶到 Mac 的專案

Youssof Altoukhi 建立了 MTPLX,將原生多 Token 預測帶到 Mac。專案於 2026 年 4 月 27 日開始開發,首個公開版本於 5 月 2 日釋出。MTPLX 在 Apple 晶片上執行模型自身的 MTP 預測頭,並透過精確推測取樣加速本機生成。

MTP 登上 Mac 的歷史(英文)

常見問題

在 Mac 上執行 Inkling 2 Mini 最快的方式是什麼?

MTPLX,一款為 Apple Silicon 本地模型打造的免費 Mac App 和命令列工具。在配備 128 GB 的 MacBook Pro M5 Max 上,MTPLX 2.13 執行 Inkling 2 Mini Bare Speed 達到 128.8 tok/s(記錄到的最快回答,4,142 個 token 的程式提示,溫度 1.0),同樣長度的新提示後 1.69 秒出現第一個 token。

24 GB 的 Mac 適合哪個 Inkling 2 Mini 模型包?

Bare Speed,在 M3、M4 和 M5 上提供 24,576 個 token 的上下文。Optimized Speed 和 Optimized Quality 需要 32 GB 或更多記憶體。

Inkling 2 Mini 能在 M1 或 M2 上執行嗎?

可以,32 GB 以上的 M1 和 M2 使用 FP16 版本。M1 和 M2 不原生支援 bfloat16,所以這些版本把 16 位元權重存為 float16,MTPLX 會在這些 Mac 上自動選擇。它們在 M1 或 M2 上的速度尚未量測。

Inkling 2 Mini 能讀取影像嗎?

可以。MTPLX 的每個模型包都包含模型完整的視覺塔。在發布檢查中,每個模型包都讀取了一張測試失敗的截圖,並說出測試名稱和兩個數字。

測試數據與參考資料