很多人以为人工智能芯片是传统GPU的算力升级版，其实不然。当行业还在争论7nm与5nm制程的能效比时，真正的技术分水岭已转向数据流架构的底层重构。以英伟达A100与谷歌TPUv4的对比为例，前者依赖CUDA核心的并行计算，后者通过脉动阵列实现张量运算的零内存访问延迟——这种差异的本质，是冯·诺依曼架构与数据流架构的路线之争。
算力竞赛的伪命题：内存墙与通信瓶颈的双重绞杀
听起来可能反直觉，但在大模型训练场景中，单纯堆砌FLOPS（每秒浮点运算次数）已失去实际意义。以GPT-3的1750亿参数训练为例，若采用传统PCIe 4.0总线架构，即使使用8张A100，数据在CPU-GPU间的搬运耗时仍占整体训练周期的63%。这就是为什么特斯拉Dojo超算采用自定义数据流架构，通过2D Mesh网络将片间通信延迟压缩至1.2μs——比PCIe 5.0的3.2μs快近3倍。
在2023年MLPerf训练基准赛中，一个值得玩味的细节是：某团队使用4张国产寒武纪思元590芯片，在ResNet-50图像分类任务中击败了使用8张A100的对手。底层逻辑在于，思元590通过片上SRAM（静态随机存取存储器）的分布式部署，将每层神经网络的权重参数完全缓存于本地，避免了传统架构中权重参数需反复从HBM（高带宽内存）调取的致命缺陷。这种设计在地理上可类比为：将每个计算单元视为一个城市，SRAM是城市内的仓库，HBM是跨城市的物流中心——当所有物资（数据）都能在本地仓库满足需求时，跨城物流（总线通信）的瓶颈自然消失。
稀疏计算：被忽视的能效比杀手锏
另一个行业误区是认为芯片能效比仅取决于制程工艺。事实上，当模型参数量突破千亿级后，稀疏化计算带来的能效提升远超制程红利。以华为昇腾910B为例，其通过动态稀疏加速引擎，可在不损失精度的情况下，将Transformer模型中80%的零值计算直接跳过。这种技术路径的底层逻辑是：将乘法累加器（MAC）阵列重构为条件执行单元，仅当输入数据非零时才触发计算——类似在高速公路上设置智能匝道，只允许有载车辆通行，空车不得进入主路。
在2023年6月的ISC超算大会上，一个未被广泛报道的细节是：某初创企业展示的存算一体芯片，在执行Llama-2 70B推理时，能效比达到53.7 TOPS/W，是A100的3.2倍。其关键突破在于将存储单元（ReRAM）与计算单元（模拟乘法器）直接耦合，消除了传统架构中数据在存储-计算间反复搬运的功耗。这种设计在赛制逻辑上可类比为：将田径比赛的起跑器与终点线合并——运动员无需移动即可完成比赛，自然不存在能量损耗。
官方公众号
