實測速度
MacBook Pro M5 Max(128 GB),MTPLX 2.13,溫度 1.0(模型本身的取樣設定)。生成速度是每個模型包記錄到的最快數值:Bare Speed 是提示已在快取中時的 128 個 token 回答,Optimized Speed 是 App 中的 166 個 token 回答,Optimized Quality 是 App 中一則回答的前 32 個 token。第一個 token 與預填以 4,142 個 token 的新程式提示量測(Bare Speed 三次、Optimized Speed 一次、Optimized Quality 兩次)。在發熱的 Mac 上,長時間的工作階段會變慢。
| 模型包 | 生成 | 第一個 token | 預填充 | 下載 |
|---|---|---|---|---|
| Bare Speed | 128.8 tok/s | 1.69 s | 2,466 tok/s | 16.0 GB |
| Optimized Speed | 123.8 tok/s | 1.73 s | 2,397 tok/s | 17.2 GB |
| Optimized Quality | 103.8 tok/s | 1.84 s | 2,257 tok/s | 20.2 GB |
我的 Mac 用哪個模型包
MTPLX 會讀取晶片和記憶體,只提供裝得下的模型包。
| 你的 Mac | 建議模型包 | 也裝得下 | 上下文 |
|---|---|---|---|
| 8 GB, M3、M4 或 M5 | 沒有裝得下的模型包。MTPLX 建議使用 Qwen 3.5 4B Optimized Speed。 | ||
| 16 至 18 GB, M3、M4 或 M5 | 沒有裝得下的模型包。MTPLX 建議使用 Bonsai 2 27B Optimized Speed。 | ||
| 24 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | 無 | 24,576 個 token |
| 32 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 163,840 個 token |
| 36 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 245,760 個 token |
| 48 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 434,176 個 token |
| 64 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 749,568 個 token |
| 96 至 512 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 1,048,576 個 token |
| 8 GB, M1 或 M2 | 沒有裝得下的模型包。 | ||
| 16 至 24 GB, M1 或 M2 | 沒有裝得下的模型包。MTPLX 建議使用 Qwen 3.5 9B Optimized Speed FP16。 | ||
| 32 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 163,840 個 token |
| 64 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 749,568 個 token |
| 96 至 192 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 1,048,576 個 token |
如何執行
在 App 中選擇 Inkling 2 Mini Bare Speed。在終端機中:
brew install youssofal/mtplx/mtplx
mtplx pull Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed
mtplx start opencode --model Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed可以把 opencode 換成 pi 或 hermes。在 M1 或 M2 上請使用 FP16 版本:Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed-FP16。
每個模型包都需要 MTPLX 2.13 或更新版本。
將 MTP 帶到 Mac 的專案
Youssof Altoukhi 建立了 MTPLX,將原生多 Token 預測帶到 Mac。專案於 2026 年 4 月 27 日開始開發,首個公開版本於 5 月 2 日釋出。MTPLX 在 Apple 晶片上執行模型自身的 MTP 預測頭,並透過精確推測取樣加速本機生成。
常見問題
在 Mac 上執行 Inkling 2 Mini 最快的方式是什麼?
MTPLX,一款為 Apple Silicon 本地模型打造的免費 Mac App 和命令列工具。在配備 128 GB 的 MacBook Pro M5 Max 上,MTPLX 2.13 執行 Inkling 2 Mini Bare Speed 達到 128.8 tok/s(記錄到的最快回答,4,142 個 token 的程式提示,溫度 1.0),同樣長度的新提示後 1.69 秒出現第一個 token。
24 GB 的 Mac 適合哪個 Inkling 2 Mini 模型包?
Bare Speed,在 M3、M4 和 M5 上提供 24,576 個 token 的上下文。Optimized Speed 和 Optimized Quality 需要 32 GB 或更多記憶體。
Inkling 2 Mini 能在 M1 或 M2 上執行嗎?
可以,32 GB 以上的 M1 和 M2 使用 FP16 版本。M1 和 M2 不原生支援 bfloat16,所以這些版本把 16 位元權重存為 float16,MTPLX 會在這些 Mac 上自動選擇。它們在 M1 或 M2 上的速度尚未量測。
Inkling 2 Mini 能讀取影像嗎?
可以。MTPLX 的每個模型包都包含模型完整的視覺塔。在發布檢查中,每個模型包都讀取了一張測試失敗的截圖,並說出測試名稱和兩個數字。