MTPLX/Inkling 2 Mini

在 Mac 上运行 Inkling 2 Mini 的最快方式。

Inkling 2 Mini 是 Thinking Machines Lab 发布的开放权重模型,用于编程与图像理解。MTPLX 2.13 使用专为它编写的 Metal 内核和模型自带的草稿头运行它,因此输出保持模型本身的分布:在 MacBook Pro M5 Max 上 Bare Speed 达到 128.8 tok/s(记录到的最快回答)。

实测速度

MacBook Pro M5 Max(128 GB),MTPLX 2.13,温度 1.0(模型自身的采样设置)。生成速度是每个模型包记录到的最快数值:Bare Speed 是提示词已在缓存中时的 128 个 token 回答,Optimized Speed 是 App 中的 166 个 token 回答,Optimized Quality 是 App 中一个回答的前 32 个 token。首个 token 和预填用 4,142 个 token 的新编程提示词测量(Bare Speed 三次,Optimized Speed 一次,Optimized Quality 两次)。在发热的 Mac 上,长时间会话会变慢。

模型包生成首个 token预填充下载
Bare Speed128.8 tok/s1.69 s2,466 tok/s16.0 GB
Optimized Speed123.8 tok/s1.73 s2,397 tok/s17.2 GB
Optimized Quality103.8 tok/s1.84 s2,257 tok/s20.2 GB

我的 Mac 用哪个模型包

MTPLX 读取芯片和内存,只提供装得下的模型包。

你的 Mac推荐模型包也能装下上下文
8 GB, M3、M4 或 M5没有装得下的模型包。MTPLX 推荐 Qwen 3.5 4B Optimized Speed。
16 至 18 GB, M3、M4 或 M5没有装得下的模型包。MTPLX 推荐 Bonsai 2 27B Optimized Speed。
24 GB, M3、M4 或 M5Inkling 2 Mini Bare Speed无24,576 个 token
32 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality163,840 个 token
36 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality245,760 个 token
48 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality434,176 个 token
64 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality749,568 个 token
96 至 512 GB, M3、M4 或 M5Inkling 2 Mini Bare SpeedOptimized Speed, Optimized Quality1,048,576 个 token
8 GB, M1 或 M2没有装得下的模型包。
16 至 24 GB, M1 或 M2没有装得下的模型包。MTPLX 推荐 Qwen 3.5 9B Optimized Speed FP16。
32 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP16163,840 个 token
64 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP16749,568 个 token
96 至 192 GB, M1 或 M2Inkling 2 Mini Bare Speed FP16Optimized Speed FP16, Optimized Quality FP161,048,576 个 token

如何运行

在 App 中选择 Inkling 2 Mini Bare Speed。在终端中:

brew install youssofal/mtplx/mtplx
mtplx pull Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed
mtplx start opencode --model Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed

可以把 opencode 换成 pi 或 hermes。在 M1 或 M2 上请使用 FP16 版本:Youssofal/Inkling-2-Mini-MTPLX-Bare-Speed-FP16。

每个模型包都需要 MTPLX 2.13 或更高版本。

下载 Mac 版

将 MTP 带到 Mac 的项目

Youssof Altoukhi 创建了 MTPLX,将原生多 Token 预测带到 Mac。项目于 2026 年 4 月 27 日开始开发,首个公开版本于 5 月 2 日发布。MTPLX 在 Apple 芯片上运行模型自身的 MTP 预测头,并通过精确推测采样加速本地生成。

MTP 登上 Mac 的历史(英文)

常见问题

在 Mac 上运行 Inkling 2 Mini 最快的方式是什么?

MTPLX,一款面向 Apple Silicon 本地模型的免费 Mac 应用和命令行工具。在配备 128 GB 的 MacBook Pro M5 Max 上,MTPLX 2.13 运行 Inkling 2 Mini Bare Speed 达到 128.8 tok/s(记录到的最快回答,4,142 个 token 的编程提示词,温度 1.0),同样长度的新提示词后 1.69 秒出现首个 token。

24 GB 的 Mac 适合哪个 Inkling 2 Mini 模型包?

Bare Speed,在 M3、M4 和 M5 上提供 24,576 个 token 的上下文。Optimized Speed 和 Optimized Quality 需要 32 GB 或更多内存。

Inkling 2 Mini 能在 M1 或 M2 上运行吗?

可以,32 GB 及以上的 M1 和 M2 使用 FP16 版本。M1 和 M2 不原生支持 bfloat16,因此这些版本把 16 位权重存为 float16,MTPLX 会在这些 Mac 上自动选择。它们在 M1 或 M2 上的速度尚未测量。

Inkling 2 Mini 能读取图像吗?

可以。MTPLX 的每个模型包都包含模型完整的视觉塔。在发布检查中,每个模型包都读取了一张测试失败的截图,并说出了测试名称和两个数字。

数据与资料