问题—— 随着模型规模扩大、应用场景不断下沉，训练与推理“跑得快不快”已成为产业竞争的关键；多年来，不少系统通过增加运算单元数量、提高主频等方式拉升峰值算力，但在真实部署中，性能提升往往不及预期：算力指标翻番，吞吐却未必同步增长。业内普遍认为，决定性能上限的不只是“能算多少”，更在于“数据送得多快”。当数据供给跟不上时，运算单元再多也可能因等待数据而空转闲置。 原因—— 从体系结构看，运算单元好比“容器”，内存接口与存储系统则像“通道”。通道变窄时，数据流入受限，容器难以持续满负荷工作。为量化该矛盾，工程实践引入“运算强度”概念，即每读取1字节数据可支撑的运算次数（OPs/byte）。运算强度越高，说明数据复用越充分，对外部带宽的依赖越低；反之则更容易被带宽“卡住”。 以常见卷积算子为例，同样是64×64输入、步长为1、单精度数据的计算任务，3×3卷积因卷积核复用充分，运算强度约为4.21；而1×1卷积虽然计算量显著降低，但数据搬运占比上升，运算强度可能降至0.5左右。由此会出现一个看似反直觉的现象：减少计算量并不一定带来同比例提速，甚至可能更早触及带宽上限。 影响—— 这一差异在Roofline模型中更直观。Roofline以运算强度为横轴、性能为纵轴，将系统上限概括为两段：低运算强度区域性能随强度线性增长，表明受带宽限制；高运算强度区域性能趋于饱和，表明受峰值算力限制。也就是说，若算子处于“带宽受限”区间，单纯增加计算单元或削减部分计算，边际收益有限；若处于“算力受限”区间，则更依赖并行度、指令效率与资源调度能力。 公开案例也印证了这一判断。有关处理器的性能图谱显示：部分序列类网络因运算强度偏低，常落在带宽受限区域，实际只能释放少量峰值能力；多层感知器有所改善但提升有限；卷积网络依托更高的数据复用，运算强度更高，性能更接近峰值。同时也需看到，即使运算强度足够高，仍可能因流水线组织、片上存储容量、并行映射不均等因素难以“触顶”，说明除带宽之外，硬件利用率本身也是一道隐性门槛。 对策—— 业内普遍认为，突破瓶颈需要从“数据路径”入手推进软硬协同：一是增强带宽供给，通过更高带宽存储、优化内存控制器与片上缓存/片上存储层级、改进互连与数据通路，拓宽数据“通道”；二是提高数据复用效率，通过算子融合、分块与重排、减少中间结果落盘、采用更高效的数据格式与低精度计算等手段，提升运算强度；三是提升硬件利用率，围绕并行调度、编译优化、内核实现与算子库工程化，减少访存抖动与执行空隙，让算力资源更稳定地处于有效工作状态。面向终端侧部署，还需兼顾能耗与实时性，在带宽、功耗与成本之间取得可落地的工程平衡。 前景—— 随着大模型推理、端侧智能与多模态应用加速落地，系统性能竞争将从“单点算力”转向“算力—带宽—软件栈”的综合竞争。带宽升级可降低达到峰值性能所需的运算强度，让更多算法更容易逼近上限；而算法侧若持续提高数据复用、减少无效搬运，也能在既定硬件条件下获得更稳定、可预期的性能收益。可以预见，未来主流路线将更强调面向应用的协同设计与可量化评估体系，以Roofline等模型为抓手，推动从指标堆叠走向系统级效率提升。
从“看峰值算力”到“看有效性能”，反映出深度学习进入工程化与产业化深水区的现实选择；带宽约束与利用率门槛提醒人们：决定速度的——不只是运算单元有多少——更在于数据能否高效到达并被充分利用。将性能优化从单点突破升级为系统协同，或将成为下一阶段技术演进与产业落地的关键路径。