Air-LLM: Broadcasting AI Weights for Edge LLM Inference via RF Computing

AI 摘要

研究团队提出 AIR-LLM 架构：由 5G 基站等中心无线电设备把大模型权重以无线信号广播出去，边缘设备不存储也不加载权重，而是用射频混频器在射频域直接完成推理中的矩阵向量乘法。该方案利用 MIMO 空间复用和预编码-后解码对缩短空口传输时间，且中心端不感知用户，一次广播可服务覆盖范围内无限用户。在 NVIDIA Sionna 真实城市场景信道与实测混频器上验证，LLaMA-3.1-8B 困惑度仅退化 4.0%，能耗较 FP16 和仅权重量化基线分别降低 157.7 倍和 40.4 倍；20 用户时空口时间分别缩短 104.1 倍和 26.0 倍。