Deploy frontier AI models on AWS Trainium with SGLang-Neuron

AI 摘要

AWS 宣布 SGLang-Neuron 正式可用，可通过 AWS 深度学习容器获取，由 RadixArk 与 Annapurna Labs 合作发布。该插件让用户在 AWS 自研 AI 芯片 Trainium 上以原有 SGLang 接口部署模型并生成强化学习 rollout，底层基于原生 PyTorch，采用树外插件设计，使 Trainium 支持与 SGLang 核心独立迭代，并支持 PD 分离（预填充与解码分机部署）。