模型Mistral News·原文 2026年10月15日

Mistral发布时间序列基础模型Timestral,209M版本在三个公开基准排名第一

Mistral称Timestral四个尺寸共享同一架构与训练配方,最大模型 209M参数在GIFT-Eval、TIME和fev-bench上以零样本、单检查点成绩超越此前最优结果,且无需GPU推理。

AI解读:官方数据称无需GPU即可推理:在 8 线程标准服务器CPU上,用三周 15 分钟粒度的历史预测未来一天,5M模型耗时 10 毫秒,209M模型耗时 140 毫秒。

各尺寸模型共享同一架构与训练配方,Mistral称每个尺寸都位于准确率与模型大小的帕累托前沿;28M版本在GIFT-Eval和TIME上超过约四倍大的Chronos-2。

模型结合合成数据预训练、协变量感知注意力和长上下文学习,先以 8192 上下文在纯合成数据上预训练,再在真实与合成数据混合上以后训练扩展至 4 倍上下文。

Mistral提供了GitHub仓库可本地运行,模型以修改版MIT许可发布,并可通过Mistral Forge支持微调、领域适配和本地或气隙环境部署;完整技术报告尚未发布。

Mistral发布Timestral,这是该公司首个时间序列基础模型家族,包含 5M、28M、123M和 209M四个参数版本,支持概率性、多变量预测,以及过去协变量和已知未来协变量。

Mistral称,最大的 209M参数模型在GIFT-Eval、TIME和fev-bench三个公开基准的预训练零样本模型中均排名第一,成绩由单个检查点产生,未使用集成。

基准成绩与模型尺寸

Mistral表示,Timestral的 209M版本在三个基准上均排名第一,且模型参数规模约为此前最优结果的三分之二。官方称这些结果已提交至GIFT-Eval和TIME排行榜。

在GIFT-Eval的可比预训练零样本条目中,Timestral进入 83 个条目的前十,该指标越低越好;在TIME的 35 个排行榜条目中进入前十,两项指标均为越低越好;在fev-bench的 37 个条目中按SQL技能分数进入前十,该指标越高越好。

Mistral称每个尺寸都处于准确率与模型大小的帕累托前沿,即在该模型尺寸下没有公开模型预测效果更好。其中 28M版本在GIFT-Eval和TIME上超过约四倍大的Chronos-2;209M版本以更少参数超过TimesFM-3和Falcon-2.0。

  • 四个尺寸:5M、28M、123M、209M参数,共享同一架构与训练配方。
  • 推理无需GPU:8 线程CPU上,用三周 15 分钟历史预测未来一天,5M耗时 10 毫秒,209M耗时 140 毫秒。
  • 官方称 28M比 209M快五倍;123M以约四分之三的延迟达到与 209M相差 0.2% 以内的分数。
  • 上下文长度为 32,768 个时间步,输出为 21 个分位数的概率预测。

技术路线

Mistral称Timestral使用合成优先的训练数据:先用具有趋势、季节性和多种噪声模式的单变量过程,再通过多变量合成器引入非线性依赖,构造多变量序列。

训练分两阶段:先在纯合成数据上以 8192 上下文进行大规模预训练,再在真实与合成数据混合上以后训练扩展到四倍长的上下文;目标函数是覆盖 21 个分位数的pinball损失。

模型引入名为DHF(解耦预测步长)的机制,将完整历史保留在序列中,用可学习的预测token读取其前的历史,使每个观测值既是目标又是上下文;协变量感知注意力则给每条序列分配目标变量、仅过去协变量或已知未来协变量三种角色,信息只从协变量流向目标。

官方称训练数据中的大部分为合成数据,并强调在Mistral Forge中可完全控制训练数据,确保回测所用数据未在预训练中见过。技术报告尚未发布,以上细节来自Mistral的发布说明。

  • 过去协变量与已知未来协变量可作为输入,已知未来协变量在整个窗口可见,目标保持因果性。
  • 支持类别型协变量直接输入,例如星期、机器状态,无需编码为数值。
  • 预测输出为 21 个分位数的概率分布,而非单一数值。

适用场景与可用方式

Mistral将时间序列描述为企业中最常见的数据类型之一,应用场景包括容量规划、能源、供应链、风险和运维维护。官方举出的工业示例是:工厂对数千个传感器进行多变量预测,利用设备振动、温度、压力之间的依赖关系,并结合生产计划、计划停机、天气预报等已知未来协变量。

Timestral定位为数值模型,可运行在现有监控管道中,也可与Mistral的语言模型组合用于多模态智能体工作流。

模型已通过GitHub仓库开放运行,采用修改版MIT许可。Mistral称可通过Mistral Forge进行微调、扩展领域特定协变量、调整训练数据配比,并支持本地、VPC或气隙环境部署。

以上性能、对比与部署数据均来自Mistral官方发布内容,未经过独立验证;Mistral表示完整技术报告将随后发布。

  • 许可:修改版MIT。
  • 部署方式:本地、VPC或气隙环境。
  • 经Mistral Forge支持零样本推理、微调、架构扩展和训练数据控制。
  • 工业示例中可与语言模型配合完成异常检测、相似故障检索和根因分析。

信息来源

Mistral News原始来源

更多

新闻专题
外观