NVIDIA与普林斯顿发布ReplaySSM：用缓存输入替代SSM状态以加速混合模型解码
该方法将SSM状态表示为检查点加近期输入缓冲区，在批量256时内核提速1.46至1.80倍；已集成进TensorRT-LLM、vLLM、SGLang和FlashInfer，并用于GLM-5.3-Flash与Kimi-K3生产环境。
AI解读：传统SSM解码每一步都要从HBM读取完整状态、更新后再写回，导致状态内存流量大、投机解码回滚困难、量化误差逐步累积三个问题。
ReplaySSM把状态表示为检查点加近期输入缓冲区：非flush步骤只追加输入并计算输出，缓冲区填满后flush一次写回检查点，输出与传统解码在浮点误差范围内一致。
在Nemotron 3与Qwen3.5四个模型上测试，批量256时内核提速1.46至1.80倍，解码步提速1.20至1.47倍；批量1时未观察到加速。
投机解码吞吐在GSM8K提示、T=4、批量512下达到vLLM的1.85倍和2.10倍；输出误差方面，Qwen3.5-4B在128K token处KL从0.136降至0.0038。
ReplaySSM已进入生产：GLM-5.3-Flash用于服务，Kimi-K3在KDA层缓存草稿token的SSM输入，并已集成TensorRT-LLM、vLLM、SGLang和FlashInfer。
NVIDIA与普林斯顿Dao AI Lab联合提出ReplaySSM，一种针对混合模型解码中SSM层瓶颈的状态存储新方法。论文《ReplaySSM: Cache SSM Inputs, Not State》已发布在arXiv，代码在GitHub开源（github.com/Johnny-Liou/ReplaySSM）。
该方法把SSM状态表示为检查点加近期输入缓冲区，非flush步骤只追加输入并计算输出，缓冲区填满后一次性写回检查点，从而将输出计算与状态更新分离。
SSM层为何成为解码瓶颈
NVIDIA Nemotron 3、Qwen3.5至Qwen3.8、Kimi-K3、GLM-5.3-Flash等混合模型将SSM层与少量注意力层交织，SSM层采用Mamba-2、Gated DeltaNet（GDN）或Kimi Delta Attention（KDA）。SSM层原本用固定大小状态替代随上下文增长的KV缓存，但在服务批量下，SSM层（而非注意力）可能成为解码延迟瓶颈，直到约100K token上下文长度。
以Nemotron 3 Ultra使用的Mamba-2层为例，每步从HBM加载状态St−1，施加数据依赖衰减并做秩1更新，用qt计算输出，再将St写回。GDN和KDA增加了delta规则修正，但其更新可写成同样的外积形式。
每个FP32状态为每序列4 MiB，而FP8 KV条目为每token 0.5 KiB，因此一个SSM层的状态相当于注意力层8K token的KV缓存大小。该模型SSM层数量是注意力层的五倍。NVIDIA在单张Blackwell Ultra B300、批量256下测得SSM层是解码步最大组成部分（图2左）。
投机解码方面，vLLM等引擎通过为每个草稿token存储状态快照并在接受后选取匹配快照来回滚，这造成每步一次读加T次写，且快照限制GPU内存中的请求并发数。量化方面，量化状态既产生输出又作为下一步更新的输入，舍入误差每步重新进入递归；KV缓存没有这种回环，因此能容忍更低精度。
ReplaySSM的评估结果
评估覆盖两个家族四个混合模型：Nemotron 3使用Mamba-2层，Qwen3.5使用GDN层，从单张H100上的4B稠密模型到单张B300上的120B级MoE模型。实现基于vLLM，并与vLLM自身最优配置内核对比。性能测试保持SSM状态为FP32，窗口L=16。
状态内存流量方面，窗口L内传统解码读写状态各L次，ReplaySSM每步读检查点但只在flush时写一次，非flush步骤只写入少量向量。批量1时其他延迟占主导，未观察到加速；批量256时内核提速1.46至1.80倍，解码步提速1.20至1.47倍。
投机解码方面，ReplaySSM将所有T个草稿token的输入追加到缓冲区，验证后通过移动缓冲区指针提交已接受前缀，无需为每个草稿保存状态快照。在GSM8K提示、T=4、批量512下，两个120B级模型吞吐分别达到vLLM投机解码的1.85倍和2.10倍，接受长度相匹配。vLLM内核延迟随T增长，T=8时接近其标准解码步的五倍；ReplaySSM在约一个标准步时间内验证八个token。
量化方面，ReplaySSM为递归保留高精度检查点、为非flush读取保留低精度副本，flush从高精度检查点出发并独立转换到两种格式，低精度副本不再读回递归。在PG-19文本、最长128K生成token下，Qwen3.5-4B上NVFP4读取加FP32递归将KL从0.136降至0.0038。
GPQA-Diamond基准上，共享NVFP4检查点在四个模型中损失3至31个百分点准确率；NVFP4读取加FP16或FP8递归可恢复大部分损失，四个模型中三个与FP32差距约2个百分点以内。MMLU-Pro和Math-L5上生成更短，共享NVFP4检查点三个模型损失不超过3个百分点，分离精度配置平均保持在FP32半个百分点以内。
生产部署与集成
NVIDIA称ReplaySSM已进入生产：GLM-5.3-Flash用其提供服务，Z.ai基础设施报告描述了将其加入KDA解码内核；Kimi-K3在KDA层中缓存草稿token的SSM输入用于验证，并将ReplaySSM列为并发方法。ReplaySSM还集成到TensorRT-LLM、vLLM、SGLang和FlashInfer等开源推理框架。