AWS发布SGLang-Neuron公开版：在Trainium上以原生PyTorch运行SGLang
AWS称，该插件由RadixArk与Annapurna Labs合作发布，用户可通过AWS Deep Learning Container获取，沿用现有SGLang服务接口，底层运行在Trainium芯片上。
AI解读：该插件让用户用现有SGLang接口在Trainium上服务模型并生成强化学习rollout，底层基于原生PyTorch。
SGLang-Neuron是out-of-tree插件，安装后通过SGLang插件入口注册neuron平台，设置SGLANG_PLATFORM=neuron即可在启动服务时选中。
SGLang核心继续负责API服务器、请求生命周期、RadixAttention和前缀缓存记录，插件实现Trainium专用模型、注意力、MoE和图执行器。
插件支持PD分离：prefill服务器计算提示KV缓存，经EFA上的NIXL传给decode服务器继续生成。
官方示例使用Trainium3 EC2实例和pytorch-inference-sglang-neuronx容器，以openai/gpt-oss-120b模型演示启动与请求流程。
AWS在机器学习博客中宣布，SGLang-Neuron已公开可用，用户可通过AWS Deep Learning Container获取。该容器由RadixArk与Annapurna Labs合作发布。
AWS表示，借助SGLang-Neuron，用户可以在AWS Trainium上使用现有的SGLang接口服务模型并生成强化学习rollout。
插件的接入方式
SGLang-Neuron是一个out-of-tree插件，负责把SGLang与AWS Trainium连接起来。安装插件后，它会通过SGLang的插件入口注册neuron平台；启动服务器时设置SGLANG_PLATFORM=neuron即可选中该平台。
按AWS的描述，SGLang核心仍提供API服务器、请求生命周期、RadixAttention和前缀缓存记录，Trainium专用的模型、注意力、MoE和图执行器由插件实现。这种设计使Trainium支持与SGLang核心可以独立开发和迭代。
执行路径与PD分离
TorchNeuron将Trainium注册为原生PyTorch设备。SGLang-Neuron的模型执行路径使用标准PyTorch操作，并加入用Neuron Kernel Interface（NKI）编写的内核；这些操作和内核经torch.compile编译为可执行程序，由图执行器在服务期间准备和执行。
插件还支持PD分离配置：prefill服务器计算提示的KV缓存，并通过Elastic Fabric Adapter（EFA）上的NIXL将其传给decode服务器，由decode服务器生成剩余token。AWS称，两台服务器仍各自使用SGLang的调度器和请求生命周期，插件负责管理Trainium执行和KV缓存传输路径。
示例配置
AWS给出的操作步骤使用Trainium3 Amazon EC2实例和pytorch-inference-sglang-neuronx容器。示例中启动的模型服务为openai/gpt-oss-120b，设置 --tp-size 8、--ep-size 8、--kv-cache-dtype fp8_e4m3、--context-length 10240等参数，并通过 /v1/chat/completions接口发送请求。
AWS建议用户查阅SGLang-Neuron入门指南了解安装步骤，并在仓库文档中查看支持的模型、功能和已验证配置。