产品AWS Machine Learning·原文 2026年11月19日

Exa在AWS Neuron芯片上重写嵌入内核,每百万文档嵌入性能与成本改善 47%

Exa称,借由权重布局优化、NKI自定义融合SwiGLU MLP内核和按模型实际形状裁剪注意力计算,其在Inferentia2上的嵌入吞吐较初始基线提升约 1.5 倍;同一套优化可直接迁移到Trainium2。

AI解读:Exa在AWS官方博客中称,其嵌入推理经过一系列优化后,每百万文档嵌入的性能与成本较初始基线改善 47%。该公司把在Inferentia2上的工作直接延续到Trainium2,称同一进程可在Trainium2的NeuronCore上以相同方式扩展。

这轮优化的触发点是模型升级带来的回填:Exa为迁移到更好的文档模型,挑选了 300 亿份高优先级文档重新嵌入,嵌入负载暂时翻倍,使其重新评估硬件选择。

收益来自多项改动:权重布局优化省去多余转置;启用autocast让编译器把矩阵乘法降精度,输出需通过 0.999 余弦相似度的正确性门槛;使用NKI预置注意力内核;编写权重驻留的融合SwiGLU MLP内核消除HBM溢出停顿;再按模型头部形状重写注意力内核以减少填充和指令步骤。Exa称,多个内核优化叠加,使吞吐较朴素编译版本提升约 1.5 倍。

Exa表示这些优化由智能体工作流完成,该工作流包含三段式验证框架:经Flyte编译NEFF可执行文件并与基线数据做前向比对,要求 0.999 余弦相似度;做一次前向性能分析;在真实硬件上运行 30 分钟饱和基准。不同成本的智能体分工处理参数搜索、假设验证和内核编写。

Exa称其从单一Kubernetes控制面跨多个区域调度算力,调度器比较不同实例类型的性价比,把Pod放到最便宜的节点上,并随嵌入需求变化重新调度。该公司表示,锁定单一区域或实例类型几乎必然导致算力短缺。

Exa在AWS机器学习博客中称,其在AWS Inferentia2上优化文档嵌入推理,使每百万文档嵌入的性能与成本较初始基线改善 47%。该结论来自Exa自述,博客未给出可独立核验的基准数据。

这轮工作的起点是一次模型迁移:Exa为换用更好的文档模型,挑选 300 亿份高优先级文档重新嵌入,同时维持现有模型的在线嵌入,嵌入负载因此暂时翻倍。

从朴素编译到自定义NKI内核

Exa称,最初在Inferentia2上的实现是直接的数据并行FP16模型版本,此后借助Neuron SDK和AWS Trainium团队的支持逐步提升吞吐。博客给出的性能数字基于最小实例类型inf2.xlarge,该实例含一块芯片、两个NeuronCore。

Exa称,其工作负载只用一个NeuronCore,因此以Kubernetes Pod形式填入更大实例而不留空闲核心,保持嵌入集群的容器一致性。同样的进程也运行在Trainium2的NeuronCore上,并通过数据并行扩展。

  • 权重布局优化:让权重布局与模型整体调度和布局对齐,消除不必要的转置。
  • 启用autocast:让编译器把矩阵乘法降精度,同时保留动态范围;输出需达到对参考模型 0.999 余弦相似度。
  • 预置注意力内核:使用NKI库的drop-in注意力内核,快速消除明显低效。
  • 融合SwiGLU MLP内核:Neuron Explorer分析显示大量HBM溢出与重载,Exa用NKI高层语言写权重驻留的融合内核,只在特定张量操作时下降到NKI ISA。
  • 减少FLOPS:按模型注意力的实际头部形状重写内核,减少填充计算,并把通用内核的多个指令步骤折叠为单次矩阵乘法,减少HBM往返。

智能体如何验证优化

Exa称,上述优化由智能体在一个三段式框架内完成,每个智能体通过Flyte运行独立工作流。框架先编译NEFF可执行文件并将前向结果与基线数据比对,要求 0.999 余弦相似度;随后做一次前向性能分析,并在真实硬件上跑 30 分钟饱和基准。

Exa按任务分配不同成本的智能体:轻量模型做编译器参数网格搜索等繁琐工作,推理型智能体验证复杂假设和定位瓶颈,最强的代码生成智能体编写自定义内核。Exa还提到使用了neuron agentic development skills,因为不少智能体不了解最新的功能和语法。

多区域调度的适用范围

Exa称,目前只在美西(俄勒冈)区域优化了Inferentia2,但锁定单一区域或实例类型几乎必然带来算力短缺,甚至服务降级。其做法是从一个Kubernetes控制面跨多个区域调度算力,调度器比较不同实例类型的性价比,把Pod放到最便宜的节点,随嵌入需求变化重新调度。

Exa称,每优化一种硬件类型就更接近全局最优,换用不同硬件配置也能释放其他团队需要的节点,或吸收他们未使用的预留算力。博客结论是,对长生命周期模型而言,在灵活硬件池上追求最高性价比是长期成本节约的主要来源。

信息来源

更多

新闻专题
外观