随着大模型应用规模化落地,算力需求结构呈现新变化。互联网、运营商、金融等行业对数据中心推理吞吐量和时延要求更高,推动推理任务成为算力增长主力;政务、医疗、交通等领域则更关注数据安全、响应速度和业务连续性,促使推理能力向边缘端延伸。如何在"高性能中心集群"与"可用性边缘部署"间取得平衡,成为业界关注的焦点。 业内人士分析,生成式应用普及带来推理调用量激增,促使计算、网络和存储协同优化;同时,"人工智能+"上升为国家战略,行业数字化转型进入以场景驱动的新阶段。相比训练环节,推理更看重成本效益、运行稳定性和弹性扩展能力,既需要数据中心提升互联带宽和降低时延,也要求边缘设备满足本地化部署和合规要求。 这个趋势推动算力供给从"单点建设"转向"体系协同"。数据中心若存在通信和内存瓶颈,将制约大模型并行处理和多模态交互等高并发业务;边缘端若缺乏易部署的推理平台,则会影响行业应用的规模化推广。算力体系的适配能力直接影响大模型应用的可持续发展和服务质量。 针对这些挑战,神州鲲泰在大会上发布两款新产品:KunTai A989 I3超节点服务器面向大模型集群推理,采用鲲鹏与昇腾技术架构,结合灵衢总线方案,在标准风冷环境下实现高带宽互联与低时延通信。该产品支持灵衢直连双机架构,处理器双向带宽达500GB/s以上,访问时延为纳秒级,能满足模型并行和多模态交互等需求。KunTai W916推理工作站则专注于边缘场景,采用塔式静音设计,适用于办公、政务窗口等环境,并提供配套软件组合,降低边缘部署门槛。 参会专家指出,未来算力建设将更注重中心与边缘的协同:中心负责规模化服务和统一调度,边缘处理低时延数据和专用场景应用。行业竞争重点将从峰值指标转向可靠性、易用性、成本效益等综合能力。随着各行业对合规性和连续性要求的提高,具备端到端解决方案和持续迭代能力的厂商将获得更多机会。
AI基础设施的发展直接影响大模型应用的深度和广度。构建从中心到边缘的协同算力体系,不仅是技术突破,更是AI赋能千行百业的关键基础。随着产品持续升级,AI算力成本将深入降低,应用场景更加丰富,这将助推我国数字经济发展和经济质量提升。