ByteByteGo解析苹果如何在iPhone上运行 30 亿参数模型
一篇技术解读梳理了苹果公开分享的做法：用调色板量化把权重压到约 1.39GB，用跨层KV共享把缓存内存降低 37.5%，再按任务复杂度决定端侧还是私有云计算处理。
AI解读：ByteByteGo的文章称，苹果在iPhone上运行一个约 30 亿参数的模型，并从权重存储、重复计算、功能复用、硬件调用和云端分流五个方面解释其可行性。文章说明信息来自苹果公开材料及其他来源，文末列出参考文献。
按 16 位精度存储，30 亿参数约占 6GB。苹果采用调色板量化：把相近权重归组，用查找表存代表值、权重存短索引。较早版本混合 2 位与 4 位表示，平均每权重 3.7 位，30 亿权重约 1.39GB；后续模型主解码器权重降到 2 位、嵌入表 4 位，并用量化感知训练适配这种压缩。
模型运行还要存中间结果。KV缓存会随输入文本变长而增大。文章称苹果用跨层KV共享，把模型按 5:3 深度比例分块，第二块各层复用第一块最后一层的键和值，使KV缓存内存占用降低 37.5%。
多个功能不必各存一份完整模型。文章称苹果用LoRA适配器，固定基座模型权重、只训练适配器；rank-16适配器用 16 位数值，占约数十MB，可按需加载、缓存或换出，用于通知摘要、改写等功能。
端侧模型适合摘要、抽取、分类等任务。苹果Intelligence会先判断请求能否在设备处理，更复杂的请求可发往私有云计算PCC；文章称设备加密请求、只有授权边界内的节点能解密，苹果员工和管理系统也无法读取内容。
文章还提到 2026 年发布的AFM 3 Core与AFM 3 Core Advanced：后者总参数 200 亿但每次只激活 10 亿至 40 亿，完整模型存于闪存、只把专家权重载入内存；PCC工作负载也可跑在Google Cloud的NVIDIA GPU上。这些属于文章转述，性能与隐私效果未给出独立评测数据。
ByteByteGo发布技术解读，讨论苹果如何把约 30 亿参数的大语言模型放进iPhone运行。文章按推理流程拆解：权重压缩、KV缓存压缩、适配器复用、硬件调度，以及端侧与私有云之间的分工。
文章开篇说明，内容基于多方公开分享的细节，文末附有参考文献，并请读者指出不准确之处。因此以下数据应视为该文对苹果公开材料的整理，而非苹果逐项确认或第三方实测。
权重压缩：从约 6GB到约 1.39GB
文章给出的起点是存储：30 亿参数若按 16 位精度保存，约占 6GB；此外还要留出输入提示、计算中间结果和操作系统及其他应用的内存。
苹果采用调色板量化。做法是把相近权重归组，用一张小型查找表保存代表值，单个权重只存指向表项的短引用，例如 2 位引用可选择 4 个表项。
文章称较早的模型版本混合 2 位与 4 位表示，平均每权重 3.7 位，30 亿权重因此约占 1.39GB。混合精度是因为模型不同部分对数值误差的敏感度不同，敏感组件多分位数、其余组件压缩更狠。
后续模型进一步压缩：主解码器权重用 2 位，嵌入表用 4 位。为让这种压缩不显著损伤能力，苹果使用量化感知训练，在训练时模拟量化限制并据此调整权重。
- 16 位精度下 30 亿参数约占 6GB
- 调色板量化用查找表加短索引表示权重
- 较早版本平均 3.7 位/权重，约 1.39GB
- 后续模型主解码器 2 位、嵌入表 4 位，配合量化感知训练
KV缓存与适配器：压缩运行期内存和功能副本
权重之外，推理还要保存已经算过的中间结果，即KV缓存，以免每生成一个token都从头重算。缓存随输入文本增长而变大，长文档会带来额外内存压力。
文章称苹果采用跨层KV共享：把模型按 5:3 的深度比例分成两块，第二块中的层复用第一块最后一层产生的键和值，从而把KV缓存内存占用降低 37.5%。
功能层面，文章称苹果用LoRA适配器避免为每个任务复制整套模型。训练时固定基座模型权重，只更新适配器；rank-16适配器用 16 位数值，体积约数十MB，可按需加载、缓存或换出。
文章举例说，写简短通知摘要和改写长文这两类功能可以共享同一个基座模型，各自挂载不同适配器。
- KV缓存随输入文本变长而增大
- 跨层KV共享按 5:3 分块，文章称缓存内存降 37.5%
- LoRA适配器固定基座权重、只训练小规模参数
- rank-16适配器约数十MB，可加载、缓存或换出
硬件调度与云端分流
文章称，模型再小也需要高效利用硬件。iPhone有CPU、GPU和Apple Neural Engine等处理器；要跑得快，还需选择合适的数据布局、拆分大数组、减少内存拷贝。
能力边界方面，文章称苹果端侧模型适合摘要、抽取和分类等任务。Apple Intelligence会判断请求能否在设备上处理，更复杂的工作可交给私有云计算PCC。
按文章描述，PCC通过加密网络连接传输请求，设备为经过验证的PCC节点加密；边界外的基础设施没有解密密钥，数据进入授权边界后才可读。文章称目标是让苹果员工和管理系统也无法访问请求内容。
文章还提到 2026 年发布的AFM 3 Core和AFM 3 Core Advanced。后者总参数 200 亿，但根据Apple Silicon系统能力每次只激活 10 亿至 40 亿参数；完整模型存在闪存中，只把专家权重载入内存。文章并称PCC工作负载可运行在Google Cloud的NVIDIA GPU上。
- 端侧负责摘要、抽取、分类等任务
- 复杂请求可由Apple Intelligence转至私有云计算PCC
- 文章称PCC仅授权边界内可解密请求
- AFM 3 Core Advanced总参数 200 亿、每次激活 10 亿至 40 亿
- 文章称PCC可跑在Google Cloud的NVIDIA GPU上