实测速度
MacBook Pro M5 Max(128 GB),MTPLX 2.13,温度 1.0(模型自身的采样设置)。生成速度是每个模型包记录到的最快数值:Bare Speed 是提示词已在缓存中时的 128 个 token 回答,Optimized Speed 是 App 中的 166 个 token 回答,Optimized Quality 是 App 中一个回答的前 32 个 token。首个 token 和预填用 4,142 个 token 的新编程提示词测量(Bare Speed 三次,Optimized Speed 一次,Optimized Quality 两次)。在发热的 Mac 上,长时间会话会变慢。
| 模型包 | 生成 | 首个 token | 预填充 | 下载 |
|---|---|---|---|---|
| Bare Speed | 128.8 tok/s | 1.69 s | 2,466 tok/s | 16.0 GB |
| Optimized Speed | 123.8 tok/s | 1.73 s | 2,397 tok/s | 17.2 GB |
| Optimized Quality | 103.8 tok/s | 1.84 s | 2,257 tok/s | 20.2 GB |
我的 Mac 用哪个模型包
MTPLX 读取芯片和内存,只提供装得下的模型包。
| 你的 Mac | 推荐模型包 | 也能装下 | 上下文 |
|---|---|---|---|
| 8 GB, M3、M4 或 M5 | 没有装得下的模型包。MTPLX 推荐 Qwen 3.5 4B Optimized Speed。 | ||
| 16 至 18 GB, M3、M4 或 M5 | 没有装得下的模型包。MTPLX 推荐 Bonsai 2 27B Optimized Speed。 | ||
| 24 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | 无 | 24,576 个 token |
| 32 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 163,840 个 token |
| 36 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 245,760 个 token |
| 48 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 434,176 个 token |
| 64 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 749,568 个 token |
| 96 至 512 GB, M3、M4 或 M5 | Inkling 2 Mini Bare Speed | Optimized Speed, Optimized Quality | 1,048,576 个 token |
| 8 GB, M1 或 M2 | 没有装得下的模型包。 | ||
| 16 至 24 GB, M1 或 M2 | 没有装得下的模型包。MTPLX 推荐 Qwen 3.5 9B Optimized Speed FP16。 | ||
| 32 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 163,840 个 token |
| 64 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 749,568 个 token |
| 96 至 192 GB, M1 或 M2 | Inkling 2 Mini Bare Speed FP16 | Optimized Speed FP16, Optimized Quality FP16 | 1,048,576 个 token |
如何运行
在 App 中选择 Inkling 2 Mini Bare Speed。在终端中:
brew install youssofal/mtplx/mtplx
mtplx pull Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed
mtplx start opencode --model Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed可以把 opencode 换成 pi 或 hermes。在 M1 或 M2 上请使用 FP16 版本:Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed-FP16。
每个模型包都需要 MTPLX 2.13 或更高版本。
将 MTP 带到 Mac 的项目
Youssof Altoukhi 创建了 MTPLX,将原生多 Token 预测带到 Mac。项目于 2026 年 4 月 27 日开始开发,首个公开版本于 5 月 2 日发布。MTPLX 在 Apple 芯片上运行模型自身的 MTP 预测头,并通过精确推测采样加速本地生成。
常见问题
在 Mac 上运行 Inkling 2 Mini 最快的方式是什么?
MTPLX,一款面向 Apple Silicon 本地模型的免费 Mac 应用和命令行工具。在配备 128 GB 的 MacBook Pro M5 Max 上,MTPLX 2.13 运行 Inkling 2 Mini Bare Speed 达到 128.8 tok/s(记录到的最快回答,4,142 个 token 的编程提示词,温度 1.0),同样长度的新提示词后 1.69 秒出现首个 token。
24 GB 的 Mac 适合哪个 Inkling 2 Mini 模型包?
Bare Speed,在 M3、M4 和 M5 上提供 24,576 个 token 的上下文。Optimized Speed 和 Optimized Quality 需要 32 GB 或更多内存。
Inkling 2 Mini 能在 M1 或 M2 上运行吗?
可以,32 GB 及以上的 M1 和 M2 使用 FP16 版本。M1 和 M2 不原生支持 bfloat16,因此这些版本把 16 位权重存为 float16,MTPLX 会在这些 Mac 上自动选择。它们在 M1 或 M2 上的速度尚未测量。
Inkling 2 Mini 能读取图像吗?
可以。MTPLX 的每个模型包都包含模型完整的视觉塔。在发布检查中,每个模型包都读取了一张测试失败的截图,并说出了测试名称和两个数字。