llama.cpp发布b12004版本,变更说明仅列出一项:common模块在提示词中出现结束标签时,停止推理预算强制(#31374)。该版本同步提供macOS、iOS、Linux、Android、Windows等多平台预编译包。
阅读全文开源项目
关注开放的模型、工具与代码,找到值得动手的项目。
llama.cpp发布b12003版本,修复SYCL后端FLASH_ATTN_EXT失败问题
llama.cpp发布b12003构建版本,变更说明中唯一列出的改动是修复SYCL后端的FLASH_ATTN_EXT失败问题(#30761),同时提供macOS、Linux、Windows、Android等多平台预编译包。
阅读全文llama.cpp b12002为ggml加入批量张量拷贝API
该版本在ggml中新增通用批量张量拷贝API,llama的context I/O与设备I/O改用该批量路径,并加入CUDA支持;同时移除异步tensor_n API、新增空缓冲区钩子(该钩子尚未实现,标记为TODO)。
阅读全文Hugging Face发布transformers v5.22.1补丁版,仅修复文档
作者ArthurZucker在发布说明中称,这次补丁版“只是修了文档”,改动是移除Ml4的WIP文档(PR #50124,来自 @remi-or)。
llama.cpp版本b12001为gfx1170/gfx1171新增RDNA4_M GPU分支
该项目在ROCm/HIP后端新增RDNA4_M家族定义,用于gfx1170、gfx1171;发布说明称gfx117X更接近RDNA4,并带 128 位WMMA,但两者并不完全相同。
英伟达与MIT团队基于MiniMax H3发布2K视频重生成开源权重
Efficient-Large-Model团队在Hugging Face发布Open-H3-Regenerate-2K模型权重,配套推理代码在NVlabs/Sana仓库开放,支持2K输出,最高可做4K原生重生成。
1.3B开源文档解析模型OXR三榜登顶,单卡解析 100 页耗时 101 秒
量子位报道,SoMark团队开源OXR文档解析模型,参数量 1.3B,在OmniDocBench、olmOCR-Bench、DocParsingBench三个基准上均列第一;官方称单张RTX PRO 6000端到端解析 100 页文档耗时 101.0 秒,代码、权重与评测复现流程已公开。
llama.cpp发布b12000,新增OCP FP8 E4M3量化支持
llama.cpp的b12000版本合并PR #27512,为GGUF转换和CPU推理加入OCP FP8 E4M3支持,同时附带多项FP8转换修复与限制说明。
LiteLLM发布v1.109.0-dev.2,新增aiand、ZeroGPU等提供方支持
该开发版镜像经cosign签名,发布说明同时列出多项带“!”的破坏性变更,涉及proxy客户列表分页、router、responses、files、OTEL标签和fallback旧兼容层等。
Gemini CLI发布v0.67.0夜间版:新增扩展校验命令,修复Windows与限流显示问题
Google的Gemini CLI在 10 月 30 日夜间构建中合并 18 项变更,包括一个扩展校验命令和评估测试;其余多为针对CLI、核心与VS Code伴侣的缺陷修复。
llama.cpp发布b11998:新增Mistral Le Chonk模型支持
llama.cpp发布构建b11998,提交说明称新增对Mistral Le Chonk模型的支持,并把DSA与sdpark扩展到该新模型,同时修复了CI。
llama.cpp发布b11997:复用张量暂存缓冲,跳过direct-io反弹缓冲
llama.cpp新构建b11997的变更说明仅一行:复用张量暂存缓冲,并跳过direct-io反弹缓冲(PR #31321)。发布页同时列出各平台预编译包下载。
ONNX Runtime发布v1.30.1补丁版,修复多项内存安全与模型校验问题
微软onnxruntime在v1.30.0基础上发布补丁版本,包含针对算子形状推断、畸形计算图、堆缓冲区溢出和Plugin EP数据传输的修复,另有构建与打包调整;发布说明称由 8 位贡献者完成,并由AI辅助起草。
llama.cpp b11988加入Limite 1B模型支持
该版本在gguf-py、模型转换脚本和llama运行时三处加入Limite架构支持,作者Giuseppe Scrivano在提交说明中标注Claude Opus 5.5提供辅助。
OpenAI Codex发布 0.166.0 版本:新增终端记录键盘选择与GPT-6.1 Terra模型
该版本为开源Codex发布页所列更新,包括TUI内的键盘选择与搜索、异步问答的Markdown渲染、codex queue --resume,以及新增的codex doctor --network-only网络诊断。
LangChain发布langchain-core 1.7.2,新增通知元数据接口并修复消息合并问题
该版本新增add_notification_metadata与get_notification_metadata两个方法,并修复merge_content会改动首条消息内容的问题;改动范围限于langchain-core包,变更记录由仓库自动发布。
llama.cpp b11985发布:Metal后端优化MXFP4矩阵向量运算与GLU线程分配
该版本合并PR #31075,在Metal后端用fp16位技巧替换线程组查找表来解码fp4值,并将一元、二元及GLU运算改为以最多 256 线程的完整线程组启动;同日发布macOS、Linux、Windows、Android等多平台构建包。
IBM发布Granite Switch 4.1.1补丁更新,基础模型未重算
IBM Granite团队在Hugging Face发布Granite Switch 4.1.1,作为 4.1 的向后兼容补丁版本,更新了多语言语音识别适配器和Decision适配器,基础模型未动。
llama.cpp b11982为Hexagon NPU加入UPSCALE算子支持
该版本在Hexagon后端新增UPSCALE缩放算子,优化最近邻 2x/4x与双线性 4x路径,并新增一组置换输入测试,用于覆盖qwen3-vl的图像转文本场景。
Hugging Face发布transformers v5.21.1,修复vLLM远程代码加载
维护者ArthurZucker称此前版本破坏了vLLM的远程代码加载,本次补丁通过修正rope_scaling的setter逻辑解决该问题。
llama.cpp发布b11981:优化Hexagon NPU转置CONCAT的DDR带宽利用
该版本由Max Krasnyansky参与提交,改动集中在Hexagon后端转置CONCAT与vgather两类算子:加大行块与暂存缓冲、对src1做分行分块、对VTCM步长补位以分散gather通道,并将vgather优化扩展到SSM_CONV和GDN。发布页同时照常提供各平台构建产物下载。
llama.cpp b11980为SYCL后端加入DPAS flash attention内核,支持量化KV缓存
该版本让解码和小批量(1 至 31 个query token)直接在q4_0、q8_0 KV块上运行flash attention,不再进行标量反量化,也不再在每次调用时把整个缓存转成f16。发布说明给出B580上Llama 3.1 8B Q4_K_M、q4_0 KV、16K上下文tg128从 31.3 提升到 54.2 t/s。
llama.cpp合并SYCL重排反量化向量化改动,MXFP4 MoE预填充提速约 57%–61%
llama.cpp发布b11979版本,合入PR #30976:在SYCL后端把重排布局下多种量化格式的反量化存储改为向量化写,覆盖Q4_0、Q4_K、Q5_K、Q6_K、Q3_K、IQ3、Q2_K和MXFP4。提交说明给出的测速均来自Arc Pro B70单卡,提速集中在“已安装重排布局张量后再做prefill”的场景。
Google python-genai发布v2.34.0:新增Python 3.15支持,同时停止支持 3.10
该版本为Gemini Developer API加入视频理解能力,为interactions.create增加automatic_continuation参数,并新增continuation_token、视频放大任务参数等;发布说明由release-please机器人整理。
llama.cpp发布b11978:修复comp_padding的CUDA graph预留问题
llama.cpp在b11978版本中合并了PR #31344,用测试修复comp_padding的CUDA graph预留;发布说明同时列出了macOS、Linux、Windows、Android等多平台构建包。
llama.cpp b11977修复ggml-openvino的SCALE视图输入越界问题
该版本让SCALE接受带任意行跨度的src0视图,并拒绝在非连续视图上做原地SCALE;发布说明称此前的缺陷会导致结果缓冲区被越界写入并使test-backend-ops崩溃。
LiteLLM发布v1.108.0-rc.1,将 1.106.x补丁修复同步到该候选版本
该发布由litellm-release[bot] 在GitHub发布,变更项只有一条:让rc/1.108.0与v1.106.x的补丁修复保持一致。发布说明同时给出了用cosign校验Docker镜像签名的两种方式。
llama.cpp b11976发布:Hexagon后端IM2COL改用基于块的HVX多线程并行
该版本合并PR #31050,将Hexagon NPU上的IM2COL算子按输出列分块、跨多线程执行HVX并行计算,并修复填充处理、展开常见循环;发布页未给出性能数据。
Hugging Face联合多所高校发起Project ProtoStar,推动公共资助科研数据转为AI可用格式
该计划首批创始伙伴包括卡内基梅隆大学、普渡大学、佐治亚理工学院、亚利桑那州立大学和乔治·华盛顿大学等,Hugging Face担任基础设施伙伴。首场开放挑战由卡内基梅隆大学主办,11 月 2 日启动。
Mistral开源Mistral Large 4权重:1万亿参数多模态模型,主打编程与防御性安全
Mistral称该模型在三周额外强化学习后于FrontierCode、Terminal-Bench上领先开源模型,并公布API定价与开源许可;基准成绩与安全拒绝率均为公司自报数据。