2017年，Transformer模型出现，深度学习模型的参数规模首次突破了1亿。短短五年，参数规模像火箭一样飙升，到2021年7月，中国科学家把参数规模推到了174万亿，这个数字与人类大脑的突触数量差不多。《2022年全球人工智能产业研究报告》把这个数字记录了下来，“大模型”的含金量因此有了新的衡量标准。2021年7月以来，中国在超算领域的发展相当迅速，清华大学和阿里达摩院联手打造了一个百万亿级的AI训练框架，叫做“八卦炉”。这个框架是为新一代的“神威”超算设计的，他们把节点内优化和混合并行策略运用到了极致，让百亿级参数模型在超算上跑起来更轻松、训练得更好、扩展性更强。“八卦炉”在混合精度下能把单节点算力提升到9 EFLOPS。这样一来，轻松就能训练14.5万亿参数模型，甚至是174万亿参数模型。“八卦炉”让超算不再仅仅是一个计算加速器，而是变成了脑科学实验室。超算已经能够处理和模拟人类大脑中复杂的神经连接和信息处理过程。 随着模型体量越来越接近人脑，“场景定制”时代就要来临了。自动驾驶领域可以把城市路况、法规条文和事故案例喂给“八卦炉”，让汽车学会识别道路和环境；新药研发可以通过百万亿级模型来预测分子对接和毒性反应；法律AI可以通过大模型自动生成类案检索报告给法官参考。“八卦炉”把百万亿级模型给拉回了人间，让超算不再是少数人的专属玩具，而是普通人也能用的加速器。 参数从1亿增加到174万亿给我们带来了无尽的想象空间。未来，“八卦炉”会继续推动超算领域的发展，“人脑=超算”可能不再只是口号，而是人们日常使用的工具了。 这次中国在超算领域取得了巨大进展。在短短几年时间里，他们成功推动了深度学习模型参数规模从1亿增长到174万亿。《2022年全球人工智能产业研究报告》把这个数字记录了下来，“大模型”的含金量因此有了新的衡量标准。从这个时候开始，清华大学和阿里达摩院联手打造了一个百万亿级AI训练框架——“八卦炉”。 这个框架是为新一代“神威”超算设计的。他们利用节点内优化和混合并行策略提高了超算性能，使得百亿级参数模型在上面运行得非常流畅。 2021年7月以来，“八卦炉”在混合精度下能把单节点算力提升到9 EFLOPS。这样一来，轻松就能训练14.5万亿参数模型，甚至是174万亿参数模型。 随着模型体量越来越接近人脑，“场景定制”时代就要来临了。自动驾驶领域可以把城市路况、法规条文和事故案例喂给“八卦炉”，让汽车学会识别道路和环境；新药研发可以通过百万亿级模型来预测分子对接和毒性反应；法律AI可以通过大模型自动生成类案检索报告给法官参考。 “八卦炉”把百万亿级模型给拉回了人间，让超算不再是少数人的专属玩具，而是普通人也能用的加速器。 这次中国在超算领域取得了巨大进展。参数从1亿增加到174万亿给我们带来了无尽的想象空间。未来，“八卦炉”会继续推动超算领域的发展，“人脑=超算”可能不再只是口号，而是人们日常使用的工具了。