Hugging Face Transformers v5.23.0发布：新增 7 个模型支持，导出器改为返回ExportedModel
该版本加入Inkling2、LFM3、IQuestCoder等模型的Transformers实现，并重做导出API：导出结果统一返回ExportedModel，可推送到Hub后在各后端自带运行时加载。发布说明同时列出多项破坏性变更。
AI解读：Transformers v5.23.0新增Inkling2、JEV、LFM3、Dots 3 Note Preview、LFM3-VL、IQuestCoder、InternLM3七个模型的实现或支持。
导出器改为每次导出返回ExportedModel，调用方式与原模型一致，可保存、推送到Hub，并在该后端自己的运行时上重新加载；同一API覆盖Dynamo、ONNX Runtime、OpenVINO和ExecuTorch。
发布说明称，在A100上EmbeddingGemma2（8×128 token）用ONNX Runtime的TensorRT EP比eager PyTorch快 7.6 倍、比torch.compile快 1.4 倍；OpenVINO在至强Platinum 8570上分别快 4.1 倍和 2.2 倍。这些是官方给出的单项基准，未覆盖其他模型和硬件。
此次标记为破坏性的改动包括移除ep_router专家并行方式、精简 [audio] 依赖为torchaudio + soundfile + soxr、弃用Wav2Vec2ProcessorWithLM与pyctcdecode/kenlm解码，以及export() 返回类型变化。
JEV与decision pipeline被标注为实验性，API、配置和行为可能变化，发布说明建议在生产环境中谨慎使用。
IQuestCoder的 *-Loop-* 检查点使用不同架构，不在本次支持范围内；InternLM3和IQuestCoder均复用Llama的自动类实现。
Hugging Face的Transformers发布v5.23.0，新增多个模型的Transformers实现，并重做模型导出接口。该版本由vasqu在GitHub Releases页面发布。
发布说明称，JEV和decision pipeline目前处于实验阶段，API与行为可能继续变化。
新增模型：Inkling2、LFM3系列与多模态模型
Inkling2条目描述的是Thinking Machines Lab的Inkling 2 Small：接受文本和图像输入、生成文本，面向英语及其他语言，也覆盖多种编程语言。其语言主干有 48 层混合专家解码器，每层把token路由到 384 个专家中的 8 个，总参数 594B、激活参数 17B。模型保留Inkling解码器结构，并加入块注意力残差、带学习sink的门控注意力和动态key/value卷积；图像由基于Perception Encoder的视觉Transformer编码，每 40×40 像素块对应一个嵌入。
- LFM3：Liquid AI第三代Liquid Foundation Models，混合架构，把门控短卷积与分组查询注意力结合，注意力层分为全注意力和滑动窗口层。
- LFM3-VL：基于LFM3的视觉语言模型家族，以原生分辨率接收图像、视频和文本；投影器把每个 2×2 的patch特征块合并为一个语言token。
- Dots 3 Note Preview：混合专家因果语言模型，接受文本、图像、视频和音频，图像与视频共用一个视觉编码器，音频使用Whisper风格编码器，支持BF16和FP8推理。
- IQuestCoder：IQuest Lab的代码模型，提供 7B、14B、40B的base、instruct、thinking变体，架构与Llama相同，因此沿用LlamaModel和LlamaForCausalLM。
- InternLM3：上海人工智能实验室的 8B指令微调模型，检查点为internlm/internlm3-8b-instruct，架构同样复用Llama实现。
导出器：统一返回ExportedModel，可推送Hub
发布说明称，现在每次导出都返回一个ExportedModel，调用方式与原模型一致（相同的关键字参数和输出类），可以推送到Hub，也能在后端自己的运行时上重新加载。同一套API覆盖Dynamo、ONNX Runtime、OpenVINO和ExecuTorch。示例代码用OnnxExporter().export(...) 导出后push_to_hub，再用ExportedModel.from_pretrained加载。
发布说明说，OnnxConfig的ort_fusions选项会在导出时把计算图改写为ONNX Runtime的融合Transformer算子，涵盖注意力、KV缓存上的GroupQueryAttention、rotary、norm和MoE；OpenVINO导出则可命中融合CPU内核，发布说明称解码比之前快 2.4–3.9 倍。发布说明还记录了导出物的export.json会保存配置、输入形状、包版本和I/O名称；量化导出（PT2E、NNCF、ONNX Runtime）的保存和运行方式相同。
- 官方基准：在A100上EmbeddingGemma2（8×128 token），ONNX Runtime配TensorRT EP比eager PyTorch快 7.6 倍，比torch.compile快 1.4 倍。
- OpenVINO在至强Platinum 8570上比eager快 4.1 倍、比torch.compile快 2.2 倍；使用int8权重时为 4.9 倍和 2.6 倍。
- 破坏性变化：export() 返回ExportedModel，ONNX程序变为onnx_ir.Model；OnnxConfig和OpenVINOConfig的output_path被移除，改用save_pretrained；自定义后端通过register_backend注册。
并行、缓存、注意力与量化修复
并行方面，专家并行新增可选ep_implementation：推理用all-reduce（便于配合CUDA graph），训练用all-to-all。Trainer现在只在最后一个micro-batch上归约FSDP/HSDP梯度，token计数归一化改为真除法。张量并行的修复覆盖注意力sink（含Beam注意力）和TPU上的共享权重比较。
缓存修复涉及Gemma4 KV共享层预填充时静态缓存访问空槽位、Qwen VL在新图像或新视频复用缓存时的位置编码、DeepSeek-V4 beam search中的压缩状态重排序，另外还改善了Mistral Large 4的缓存共享。
- 量化：FP8的modules_to_not_convert条目按权重名重命名，避免f_a_proj、f_b_proj等模块被错误量化；MXFP4专家反量化到请求的dtype，不再固定用bfloat16。
- 音频：AudioClassificationPipeline按模型problem_type选择原始输出、sigmoid或softmax；[audio] 依赖精简为torchaudio、soundfile、soxr，移除librosa和phonemizer。
- 音频：Wav2Vec2ProcessorWithLM与pyctcdecode/kenlm语言模型解码被弃用；聊天模板可接收从视频解码出的音频。
- JEV：用线性层在提示最后一个token上给单token标签打分，读取随权重发布的head.safetensors和judge_config.json，GEV也使用同一head读取pplx-decider和d3的 255 个答案编码。