边缘AI推理硬件的军备竞赛：NPU、RISC-V与存算一体的三重奏

2026年6月，边缘AI推理硬件市场进入了白热化的竞争阶段。从智能手机到自动驾驶汽车，从工业传感器到智能家居设备，AI推理正在从云端大规模迁移到边缘设备。这一趋势催生了三大技术路线的激烈竞争：专用NPU（神经网络处理单元）、RISC-V架构的AI扩展、以及存算一体（Processing-in-Memory）技术。本文将深入分析这三条技术路线的原理、优劣和未来走向。

一、为什么AI推理需要从云端走向边缘？

在云端进行AI推理存在几个根本性的局限：

延迟：对于自动驾驶、工业控制等实时应用，将数据发送到云端再等待返回结果的延迟是不可接受的。一辆以100km/h行驶的汽车，在100ms的网络延迟中已经移动了约2.8米。

带宽：视频监控、工业质检等应用产生的数据量巨大，将所有原始数据传输到云端需要极大的带宽和成本。

隐私：医疗数据、金融数据、个人隐私数据不适合传输到云端处理。

可靠性：边缘设备需要在网络中断时仍能正常工作。

因此，将AI推理能力部署到边缘设备本身，成为了技术发展的必然方向。

二、NPU：专用硬件的极致优化

2.1 什么是NPU？

NPU（Neural Processing Unit）是专门为神经网络计算设计的处理器。与通用CPU和GPU不同，NPU的硬件架构针对矩阵乘法、卷积、激活函数等神经网络核心操作进行了深度优化。

2.2 现代NPU的架构特点

脉动阵列（Systolic Array）：这是NPU最核心的计算架构。数据在处理单元之间像心跳一样有节奏地流动，每个处理单元执行一次乘加操作后将结果传递给下一个单元。这种设计最大化了数据复用率，减少了内存访问。

混合精度计算：现代NPU支持INT4、INT8、FP16、BF16等多种精度的混合计算。对于推理任务，INT8量化通常能够在保持精度的同时将性能提升2-4倍。

片上SRAM：大容量的片上SRAM用于存储模型权重和中间结果，减少对片外DRAM的访问。Apple的M系列芯片在这方面做得尤为出色。

2.3 主要玩家

Apple Neural Engine：M4芯片的NPU提供38 TOPS算力，支持设备端的大语言模型推理
Qualcomm Hexagon：骁龙8 Gen 4的NPU提供超过75 TOPS，支持多模态AI
Google Tensor：Pixel手机的Tensor G5芯片集成了专用的AI加速器
联发科APU：天玑9400的APU在能效比方面表现出色
寒武纪MLU：国内NPU的代表，面向边缘服务器和智能终端

2.4 NPU的局限

NPU的主要局限在于其专用性。当神经网络架构发生变化时（如从CNN到Transformer，再到可能的新架构），NPU可能无法高效执行新的计算模式。这需要硬件的迭代更新，周期通常为1-2年。

三、RISC-V：开放指令集的AI扩展

3.1 RISC-V的优势

RISC-V是一种开源的指令集架构（ISA），其核心优势在于：

开放免费：无需支付授权费用，降低了芯片设计门槛
模块化设计：基础指令集加上可选扩展，允许针对AI工作负载进行定制
可扩展性：允许自定义指令扩展，专门为AI操作添加硬件支持

3.2 RISC-V的AI扩展

RISC-V社区已经定义了多个AI相关的扩展：

V扩展（Vector Extension）：提供可变长度的向量操作，适合SIMD风格的AI计算。向量长度可以根据硬件实现灵活配置，从128位到数千位不等。

P扩展（Packed SIMD Extension）：提供更细粒度的SIMD操作，适合低精度量化推理。

自定义扩展：芯片设计者可以定义自己的扩展指令，如专门的矩阵乘法指令、激活函数指令等。

3.3 RISC-V在边缘AI中的应用

Esperanto ET-SoC-1：集成超过1000个RISC-V核心的AI推理芯片
SiFive Intelligence：SiFive的AI优化RISC-V核心
平头哥玄铁：阿里巴巴的RISC-V处理器，面向IoT和边缘AI

3.4 RISC-V的挑战

RISC-V在边缘AI领域面临的最大挑战是生态系统成熟度。与ARM相比，RISC-V的编译器优化、开发工具、软件库还有较大差距。此外，RISC-V的向量扩展的硬件实现尚不统一，不同厂商的实现可能存在兼容性问题。

四、存算一体：打破内存墙

4.1 内存墙问题

传统计算架构中，数据需要在内存和处理器之间频繁搬运。对于AI推理，这种数据搬运消耗的能量远超计算本身。研究表明，在典型的AI推理工作负载中，数据搬运消耗的能量占比超过60-90%%。

这就是著名的内存墙（Memory Wall）问题——处理器的计算速度远超内存的数据供给速度，导致处理器大部分时间在等待数据。

4.2 存算一体的原理

存算一体（Processing-in-Memory, PIM）技术的核心思想是将计算能力直接集成到存储器中，消除数据搬运的需要。

基于SRAM的PIM：在SRAM阵列中集成计算单元，利用SRAM的位线和字线实现模拟域的乘加运算。这种方法速度快、精度可控，但面积开销大。

基于ReRAM的PIM：利用阻变存储器（Resistive RAM）的物理特性实现矩阵向量乘法。ReRAM单元的电导值存储权重，输入电压与电导的乘积（电流）自然实现了乘法运算。这种方法天然适合神经网络的计算模式。

基于Flash的PIM：利用NAND Flash的多级单元存储权重，适合大模型的边缘部署。

4.3 代表性产品

Mythic：基于Flash的模拟存算一体芯片，面向边缘视觉AI
知存科技：国内存算一体的代表企业，提供基于Flash的AI推理芯片
后摩智能：基于SRAM的存算一体方案，面向自动驾驶
IBM Analog AI：基于相变存储器（PCM）的研究项目

4.4 存算一体的挑战

精度限制：模拟计算的噪声和非理想特性限制了计算精度
可编程性：模拟PIM通常只支持特定的计算模式，灵活性有限
良率和可靠性：新型存储器件的制造工艺尚不成熟
工具链缺乏：缺乏成熟的编译器和开发工具

五、三种路线的对比

维度	NPU	RISC-V AI	存算一体
性能	高	中-高	中（潜力大）
能效	高	中	极高（潜力）
灵活性	低	高	低
生态成熟度	高	中	低
成本	中	低	高（初期）
适用场景	智能手机、汽车	IoT、定制芯片	边缘大模型

六、融合趋势

未来的发展趋势并非三种路线的你死我活，而是深度融合：

RISC-V + NPU：在RISC-V处理器中集成NPU加速器，兼具灵活性和高性能
NPU + 存算一体：在NPU的特定计算模块中采用存算一体技术，突破内存墙
异构计算：CPU + RISC-V AI + NPU + 存算一体的混合架构，根据工作负载动态调度

七、对开发者的启示

边缘AI硬件的多样化给开发者带来了新的挑战和机遇：

硬件抽象：需要使用ONNX Runtime、TensorFlow Lite等框架进行硬件无关的开发
模型优化：量化、剪枝、蒸馏等模型压缩技术成为必备技能
异构编程：学习如何将计算任务分配到不同的硬件单元
能效优化：在边缘设备上，能效比峰值性能更重要

边缘AI推理硬件的军备竞赛才刚刚开始。NPU、RISC-V和存算一体各自代表了不同的技术哲学，它们的竞争和融合将共同推动AI从云端走向万物。

本文参考了ISSCC、Hot Chips等芯片顶会论文，以及各芯片厂商的官方技术文档和产品发布信息。