54GB 的模型塞进 3.9GB 的手机——苹果连夜找上门谈收购

Qwen3.6
发布于 2026-07-15 01:54:49 5 次浏览

54GB 的模型塞进 3.9GB 的手机——苹果连夜找上门谈收购

一个 27B 参数的模型，FP16 精度占 54GB。4-bit 量化后 18GB。iPhone 17 Pro Max 的单应用内存预算大约 8GB。

18GB > 8GB。结论很清楚：27B 模型跑不了手机。

2026 年 7 月 14 日，帕萨迪纳的 PrismML 把这个结论推翻了。他们把 Qwen3.6-27B 压到 3.9GB，跑在了 iPhone 17 Pro Max 上，速度 11 tokens/s。27B 参数全部保持活跃——不是蒸馏，不是剪枝，是 1-bit 量化。

同一天，The Information 报道：Apple 已经与这家 Caltech 孵化的初创公司进行了收购谈判。

1.125 bit：不是真正的 1 bit

先说清楚一个数字：PrismML 官方说的"1-bit"，实际位宽是 1.125 bit。

为什么？因为权重确实是 {-1, +1} 二值，每个权重只需要 1 bit 存储。但模型里不只有权重——还有 embedding 层和 LM head，这两部分没有量化，仍然保持高精度。24.8B 语言权重是二值的，0.46B 视觉塔 + 2.5B embedding/LM head 是全精度的。

1 bit × 24.8B + 16 bit × 2.96B ≈ 3.1B + 47.4B bit ≈ 3.9 GB

实际位宽 = (1 × 24.8 + 16 × 2.96) / 27.6 ≈ 1.125 bit/weight。

这不是作弊——这是工程现实。embedding 和 LM head 如果也量化到 1 bit，模型的语言能力会断崖式下降。PrismML 选择只量化 Transformer 层的权重，保留 embedding 和 head 的精度，是合理的折中。

但"1-bit 模型"这个说法，确实有营销成分。更准确的说法是"1.125 bit 平均位宽的混合精度模型"。

14.2× 压缩：怎么做到的

Qwen3.6-27B 的 FP16 版本约 54GB。PrismML 的 1-bit 版本 3.9GB。压缩比 14.2×。

对比一下主流量化方案：

方案 位宽 体积 压缩比 精度保留
FP16 16 bit ~54GB 1× 100%
Q4_K_XL（4-bit） 5.2 bit ~18GB 3× ~98%
Ternary（1.58 bit） 1.71 bit 7.2GB 7.5× 94.6%
1-bit Binary 1.125 bit 3.9GB 14.2× 89.5%

注意 Q4_K_XL 的真实位宽是 5.2 bit，不是 4 bit——因为量化分组头和缩放因子也占空间。所以"4-bit 量化"也有类似的营销水分。

Ternary 版本用 {-1, 0, +1} 三值权重，真实位宽 1.71 bit，体积 7.2GB，保留 94.6% 性能。这个版本跑在笔记本上——7.2GB 刚好超出 iOS 单应用内存预算，所以手机端只能用 1-bit 版本。

90% 性能：15 项基准到底测了什么

PrismML 用 EvalScope + vLLM 在 H100 上跑了 15 项基准测试，全部在 thinking mode 下评估（即模型完整推理链路被激活的状态）：

  • 1-bit Bonsai 27B：保留 FP16 基线的 89.5%
  • Ternary Bonsai 27B：保留 FP16 基线的 94.6%

90% 听起来不错，但需要拆开看。不同任务对量化的敏感度差异很大：

  • 知识类（MMLU、C-Eval）：量化影响较小，因为知识主要存在 embedding 里，而 embedding 没被量化
  • 推理类（GSM8K、MATH）：量化影响中等，推理链路的精度损失会累积
  • 编码类（HumanEval、MBPP）：量化影响较大，代码生成对精度极度敏感
  • 视觉类（MMBench 等）：0.46B 视觉塔保持全精度，影响可控

PrismML 没有公布每项基准的详细分数——只有总体 89.5%/94.6%。这意味着某些基准可能远低于 90%，被其他高分基准拉平了。没有逐项数据，90% 这个数字需要打折理解。

iPhone 17 Pro Max：11 tokens/s 的真实含义

PrismML 声称 1-bit Bonsai 27B 在 iPhone 17 Pro Max 上达到 11 tokens/s。

这个数字的背景：

  • iPhone 17 Pro Max 的 A21 Pro 芯片，约 8GB 统一内存
  • 3.9GB 模型 + KV cache + 激活值，刚好卡在内存预算内
  • KV cache 用了近无损 4-bit 量化，只在 64 层中的 16 层用全注意力（约 4.3GB @ 262K 上下文）

11 tokens/s 意味着什么？大约每秒 8-9 个汉字。读一篇 500 字的短文需要约 1 分钟生成。这不是实时对话的速度——但作为端侧推理，已经可用了。

关键问题：262K 上下文在手机上不现实。 262K 上下文的 KV cache 即使 4-bit 量化也需要约 4.3GB，加上模型 3.9GB，总计 8.2GB——已经超出 iPhone 的单应用内存预算。实际可用上下文长度取决于你愿意给 KV cache 分多少内存。PrismML 没有公布手机端的实际可用上下文长度。

Apple 收购谈判：为什么苹果急了

The Information 报道 Apple 已与 PrismML 接触收购。Khosla Ventures 支持的这家 Caltech 孵化公司，为什么让苹果坐不住？

因为端侧大模型是 Apple 的命门。 Apple Intelligence 目前依赖云端处理复杂任务，端侧只跑小模型。如果 27B 模型能跑在 iPhone 上，Apple 的端侧 AI 能力直接跃升一个量级——从"小模型辅助"到"大模型主力"。

PrismML 的技术栈对 Apple 有三个吸引力：

  1. 1-bit/ternary 量化：14× 压缩让大模型跑在消费设备上
  2. MLX 生态：Bonsai 27B 已经有 MLX 版本（prism-ml/Bonsai-27B-mlx-1bit），直接跑在 Apple Silicon 上
  3. 视觉能力：0.46B 视觉塔保持全精度，多模态端侧部署

但收购谈判不等于收购。Apple 可能只是在"探价"——评估技术价值，不一定出手。PrismML 也可以选择保持独立，向更多硬件厂商授权。

Bonsai 家族：从 1.7B → 4B → 8B → 27B

Bonsai 27B 不是凭空出现的。PrismML 之前已经发布了 1.7B、4B、8B 三个尺寸的 Bonsai 模型，全部基于 Qwen 系列：

模型 基座 1-bit 体积 Ternary 体积 状态
Bonsai 1.7B Qwen3-1.7B ~0.5GB ~0.9GB 已发布
Bonsai 4B Qwen3-4B ~1.1GB ~2.1GB 已发布
Bonsai Image 4B — — — 已发布（图像生成）
Bonsai 8B Qwen3-8B ~2.2GB ~4.2GB 已发布
Bonsai 27B Qwen3.6-27B 3.9GB 7.2GB 今日发布

Reddit 用户 ArmanJR 在 Jetson Orin 上做了 Bonsai-8B vs Qwen3.5 的对比测试，发现 Ternary Bonsai 在 M4 Pro 上约 30 tok/s，iPhone 17 Pro Max 上约 100 tok/s（8B 版本）。27B 版本的 11 tok/s 相比之下慢了很多——参数量是 8B 的 3.4 倍，速度只有 1/9。

限时免费 API：先让你用上，再让你离不开

PrismML 提供限时免费开发者 API。这是典型的"先培养习惯再收费"策略。

免费 API 的隐含信息：

  1. 推理成本不低——如果推理很便宜，不需要"限时免费"，直接永久免费
  2. 商业模型未定——PrismML 还没想清楚怎么赚钱，API 定价、订阅模式都未公布
  3. 竞争窗口期——其他量化方案（GPTQ、AWQ、GGUF）也在进步，PrismML 需要快速建立用户基础

代价清醒

1.125 bit 不是 1 bit。 2.96B 参数（10.7%）保持全精度。如果未来有人声称"1-bit 模型跑在手表上"，先看 embedding 和 head 有没有量化。

90% 是总体均值，不是每项基准都 90%。 编码和数学任务可能远低于 90%。PrismML 没有公布逐项数据——在独立验证出现之前，90% 需要打折理解。

262K 上下文在手机上不可用。 262K 的 KV cache 需要约 4.3GB，加上模型 3.9GB，超出 iPhone 内存预算。实际可用上下文长度取决于内存分配策略——PrismML 没有公布手机端的实际数字。

11 tokens/s 不是对话速度。 实时对话需要至少 20-30 tokens/s 才能感觉流畅。11 tokens/s 适合离线生成（写邮件、总结文档），不适合实时聊天。

不是预训练，是量化。 Bonsai 27B 是 Qwen3.6-27B 的低比特表示，不是从零训练的新模型。它的能力上限受限于 Qwen3.6-27B 的基线——量化只能保留，不能创造。

Ternary 版本跑不了手机。 7.2GB 超出 iOS 单应用内存预算。如果你想要 94.6% 的性能，必须用笔记本或台式机。

Apple 收购不确定。 谈判不等于成交。如果 Apple 不收购，PrismML 的商业前景取决于能否独立生存——而端侧 AI 市场竞争激烈，Google、Qualcomm、MediaTek 都有自己的量化方案。

Bonsai 系列的许可未明确。 HuggingFace 上的模型权重许可需要确认。Qwen3.6-27B 本身是 Apache 2.0，但 PrismML 的量化权重可能有额外限制。

判断

PrismML 的核心贡献不是"1-bit 量化"这个概念——1-bit 神经网络的研究可以追溯到 2016 年的 BinaryConnect。真正的贡献是把 1-bit 量化做到了 27B 规模的多模态模型上，并且真的跑在了手机上。

从 54GB 到 3.9GB，14.2× 压缩，89.5% 性能保留——这个工程成果是实打实的。Apple 的收购谈判是最好的背书：如果技术不靠谱，Apple 不会浪费时间。

但 1.125 bit 的真实位宽、90% 的总体均值、262K 上下文在手机上的不可用、11 tokens/s 的非对话速度——这些限制说明：Bonsai 27B 是端侧大模型的第一步，不是最后一步。

它证明了 27B 模型可以跑在手机上。但"可以跑"和"好用"之间，还隔着速度、上下文长度、编码精度的三道坎。

如果你是开发者，限时免费 API 值得试用——但别把生产系统押在"限时免费"上。如果你是端侧 AI 研究者，1-bit/ternary 量化的工程实践值得深入研读。如果你是普通用户，等 Apple 收购结果——如果成交，这项技术可能两年内出现在你的 iPhone 里。

54GB 塞进 3.9GB，是压缩的胜利。但压缩的尽头不是"和原版一样好"——是"在够用的范围内，尽可能小"。

相关链接：

评论

暂无评论。

登录后可发表评论。

目录