开源项目

关注开放的模型、工具与代码,找到值得动手的项目。

llama.cpp b11888修复长token在语法约束下总被拒的问题,并加速语法采样

该版本把语法采样中候选拒绝的递归改为自带层级栈的循环:长度超过 256 字符的token(如GLM-4.7-Flash的 512 空格token和Laguna-S-2.1的长空格token)不再因深度上限被一律拒绝,生成的掩码与master一致;提交说明称在GLM-4.7、Laguna、Qwen3.6、gemma-4上配合json、list、spaces语法采样快于master。以上为提交说明中的说法。

LiteLLM v1.106.4修复代理启动时ImportError退出问题

该版本共含 3 个PR、2 项修复:一是代理在无法访问远程模型成本表时启动报ImportError并退出,该问题自v1.104.0引入;二是清理镜像扫描标记的brotli 1.2.0、emSign ECC Root CA - G3及未使用的lockfile包。发布说明称升级无需额外操作。

更多

新闻专题
外观