Rethinking Memory for AI Inference

AI 摘要

随着AI推理从数据中心转向边缘设备，业界开始重新设计内存架构，将计算单元移近或嵌入内存（如PNM、PIM、CIM），以减少数据搬运带来的延迟和功耗。三星已公布面向低功耗移动端AI的LPDDR6-PIM架构与性能基准，SK海力士则提出在HBM基片集成近内存计算单元以卸载简单乘加运算。但软件编译器、操作系统支持、标准化以及散热管理仍是主要障碍，相关技术预计还需三到五年才能广泛商用。