AWS称Deepgram Nova-3移植Trainium2后，离线批处理每美元音频量提升 11% 至 70%
AWS机器学习博客发文称，Deepgram与AWS Forward Deployed Engineering团队将Nova-3语音转文字模型移植到Trainium2，单台trn2.3xlarge实例跑 8 个模型副本；在Deepgram的离线、面向吞吐的批处理负载上，按评估时的实例价格计算，每美元处理的音频量比此前所用计算方案多 11% 至 70%。
AI解读：AWS博客称，Deepgram的模型覆盖语音转文字、文字转语音和语音代理，每年处理“数千万亿”音频token，服务超过 20 万开发者和 1400 家组织。这一数据由AWS提供。
移植工作从Deepgram以标准PyTorch代码交付Nova-3开始，双方用数月时间借助TorchNeuron完成移植，并用torch.compile把编码器和解码器编译为静态形状图，声称编译后所有模型运算都在Trainium2上运行、未检测到CPU回退。
优化分几层推进：先用NKILib的融合内核替换QKV投影、FFN和depthwise 1D卷积等层；再针对性能剖析结果手写内核，FFN内核在batch size 96时延迟降低 2.0 倍，depthwise conv1d内核提速 1.5 倍，新写的conv2d内核解锁了batch size 32以上的编译。
服务路径上用Rust构建数据并行运行时，绕过Python和PyTorch，通过Neuron Runtime API直接执行预编译的NEFF；相比多进程Python基线，在吞吐最大化的batch size上带来 7.5% 吞吐提升。
上述 11% 至 70% 的价格性能区间，仅适用于Deepgram的离线、吞吐导向批处理场景，例如联络中心分析和医疗转录；AWS称该收益也可能惠及在自有VPC的Amazon SageMaker AI上自托管Deepgram模型的客户。
AWS机器学习博客发布案例文章称，Deepgram与AWS Forward Deployed Engineering（FDE）团队合作，把Nova-3语音转文字模型移植到AWS Trainium2，用于联络中心分析、医疗转录等离线批处理负载。
文章给出的核心数字是：在单台Amazon EC2 trn2.3xlarge实例上运行 8 个模型副本，按评估时的实例价格计算，Deepgram这类离线吞吐型批处理负载每美元处理的音频量，比Deepgram此前使用的计算方案多 11% 至 70%。
移植路径与精度核对
文章称，合作从Deepgram以标准PyTorch代码交付Nova-3开始，历时数月完成向Trainium2的移植与调优。团队先以eager模式运行模型，检查哪些运算回退到CPU，再用torch.compile编译；编码器和解码器被分别编译为静态形状图。
AWS称，编译后的路径上所有模型运算都在Trainium2上执行，未检测到CPU回退。精度检查分两层：逐层输出与CPU结果对照，以及端到端词错误率（WER）需保持在Deepgram参考值和目标范围内。
内核优化与批大小限制
在此基础上，团队用公开的NKILib预置内核替换若干层，包括融合QKV投影、融合FFN层和depthwise 1D卷积。文章称吞吐以相对基线的增益报告，而非每秒绝对音频量；团队扫描了 1 至 128 的batch size以寻找吞吐最大的取值。
文章列出三项内核级结果：手调FFN内核让每个权重块只加载一次并在多个token块间复用，在batch size 96时相对参考内核延迟降低 2.0 倍；depthwise conv1d改为Vector Engine上的广播乘加循环，在batch size 96时相对参考内核提速 1.5 倍；由于NKILib没有conv2d内核，团队用NKI从零编写，使batch size超过 32 后模型仍能作为单图编译，在batch size不超过 32 时卷积模块最高提升 50 倍。
Rust运行时与收益边界
服务侧，Deepgram的生产栈用Rust编写，因此移植后模型还需在没有Python和PyTorch的路径上运行。团队构建了轻量Rust数据并行运行时，用一个工作窃取队列协调 8 个模型副本，并通过C层调用Neuron Runtime API直接执行预编译的NEFF。文章称该运行时在每个测试batch size上精确复现了参考token序列。
对比多进程Python基线，Rust运行时在吞吐最大化的batch size上带来 7.5% 吞吐提升；文章解释，Nova-3对每个音频块执行一连串小型解码器调用，低batch size时主机侧调度是瓶颈，因此那里的提升最大。
AWS明确，11% 至 70% 的价格性能区间针对Deepgram的离线、吞吐导向批处理场景，并非所有在线推理负载。文章还称，这些收益可能延伸到在自有VPC的Amazon SageMaker AI上自托管Deepgram模型的客户，双方继续改进部署易用性、可靠性和可观测性。