
Ai2在Hugging Face博客发布Olmo-core 3,用DDP替代FSDP,在 8 张B300上把 470 亿参数MoE的吞吐从每秒每GPU 1.94万token提到 5.2 万,并已在 512 张GPU上跑过 1.2 万亿参数配置。
阅读全文关注开放的模型、工具与代码,找到值得动手的项目。

Ai2在Hugging Face博客发布Olmo-core 3,用DDP替代FSDP,在 8 张B300上把 470 亿参数MoE的吞吐从每秒每GPU 1.94万token提到 5.2 万,并已在 512 张GPU上跑过 1.2 万亿参数配置。
阅读全文该版本的主要代码变更是为BLAS后端补充AOCL-BLAS的构建文档、添加快速上手说明并标注AOCL-BLAS设备,同时发布覆盖macOS、Linux、Windows、Android的预编译包。
阅读全文Glow Security发现 343 个组织共 1.3 万多张内部软件截图被AI代理发布到公共GitHub仓库,其中约三分之一使用了公开存储截图的gitshot工具。
阅读全文llama.cpp发布b11320,为LLM-jp-4.1增加专用Harmony处理器,原因是其tokenizer在每个特殊token后解码出一个空格,并行工具调用以特定分隔符分隔,导致GPT-OSS处理器拒绝该输出。
llama.cpp发布构建b11319,本次改动仅一条:在OpenCL后端把向量子组广播(vec subgroup bcast)标记为Adreno E17编译器支持。发布页同时列出了各平台预编译包。
PLaMo-2和PLaMo-3的tokenizer_config.json中add_bos_token为true、add_eos_token为false,但 _set_vocab_plamo() 未写入这些元数据,新的PLAMO2分词路径也不读取这两个开关。
该版本的主要改动是让llama-bench在开启详细输出时能显示GGML_LOG_ERROR级别的日志,同时清理了基准测试中的无用变量。
llama.cpp新版本b11316由GitHub Actions机器人发布,核心变更为Metal后端在mxfp4矩阵乘法中使用bf16数学,同时附带macOS、Linux、Windows、Android等多平台预编译包。
该版本修复了 #27941 中因PLE层导致Meta设备断言而禁用的张量分割,并将hc_init的REPEAT节点提前展开,使其被调度器分配到设备上。
该版本通过四个PR把代理和Anthropic相关修复回移到stable/1.103.x分支,并继续用cosign对Docker镜像签名,推荐用固定commit哈希验证。
该版本由 @yuneng-berri通过回移PR #41941、#41880、#43956 并切出 1.101.4,同时公布cosign镜像签名验证方法。
该版本主要包含一项WebGPU修复(#29750),同时为macOS、Linux、Windows、Android和openEuler等平台提供预编译包。
该版本的核心改动来自署名Adrien Gallouët的提交(#29765),把ggml-opencl里的alloca() 换成std::vector;其余发布内容为各平台预编译包清单。
llama.cpp发布b11310,其中cuda部分修复了IQ4_NL反量化行内核在短行上的越界读写问题(#29683)。
该nightly版本包含两项由同一贡献者提交的修复:CLI中代码内 @ 符号导致的CPU占用与引号吞噬问题,以及核心文件工具操作的串行化与原子写入。
llama.cpp发布b11309版本,主要变更是为Hexagon后端的ALLREDUCE操作增加安全scatter模式支持,并重写相关代码以消除寄存器溢出。同步更新了macOS、Linux、Windows、Android等多平台预编译包。
该版本的核心改动是修复命令行下载mmproj参数的问题,并为该参数的解析补充了测试。
该版本聚焦恢复层输入与未掩码NextN嵌入的token顺序,并明确把回归测试、OpenVINO、WebGPU等后端改动拆到后续PR,不随本版一起发布。
llama.cpp新版本b11306的测试脚本新增一项检查:在设备解码后关闭causal_attn标志,分别解码n_ubatch/2和n_ubatch个token,用于发现依赖该标志的图形状变化。该检查跳过编码类架构。
llama.cpp新构建b11304的代码变更条目为“llama: properly handle KV on training (#28520)”,同时发布了覆盖macOS、Linux、Windows、Android等多平台的预编译包。
该版本于 2026 年 9 月 30 日发布,主要变更是API侧新增list spend limits端点,同时在客户端将Sonnet 4.5标记为弃用。
这是一个补丁版本,唯一新功能是向符合条件的本地会话展示可选的账号安全设置提醒,该改动由 #49744 从主分支回移至 0.159 分支。
这次构建的主线改动是把剩余示例程序迁移到llama_batch_ext,同时删除common_batch_staged、加入线程安全测试,并照例放出macOS、Linux、Windows、Android等多平台预编译包。
该版本为Python版Google Gen AI SDK加入gcs_metrics_uri用于导出调优任务指标、支持Gemini 3.8 Flash TTS和Flash Lite TTS模型,并新增environments专用模块与from_environment支持。
该补丁让每个失效索引槽写入独立行n_kv + slot,避免填充池、缺失序列和尾部单元格争用同一sentinel行导致ThreadSanitizer报出的数据竞争。
该版本针对零元素张量增加整数溢出防护,并校验张量元素数量,同时提供覆盖macOS、Linux、Windows、Android与openEuler的预编译包。
该版本让CLI在stdin到达EOF时直接退出,并移除控制台范围的Ctrl+C广播,避免误杀同一控制台下其他进程;同时修复单独输入“/”被误判为EOF的问题。
llama.cpp发布b11298版本,合并PR #29650,为mimo模型增加dflash支持,覆盖转换与特征提取两个环节。
llama.cpp新构建版本b11297为Jinja模板引擎加入对强制转换数组属性的支持,并补充测试;同版本照常提供覆盖macOS、Linux、Windows、Android的预编译二进制。
该补丁版本修复torch.linalg.lstsq、torch.linalg.svd在MPS上对复杂批量欠定系统和秩亏输入的静默正确性问题,并将CUDA 13.2 Linux二进制升级到CUDA 13.2.2。