通信:面向大规模智算集群场景光互连技术白皮书(2025年)

股票资讯 阅读:3 2025-10-31 11:06:32 评论:0

  下一代智算集群提出近乎严苛的互连需求

  大模型的巨量迭代引发智算集群架构变革

  实现通用人工智能(AGI,Artificial General Intelligent)已成为大模型未来发展方向的广泛共识。大模型技术总体仍遵循扩展法则(Scaling Law),参数已迈向万亿甚至十万亿规模,对智能算力的需求呈现爆炸式增长。如下图所示,模型参数规模的增长速度约每两年400倍,其算法结构在原有Transformer的基础上,引入扩散模型、专家系统(MoE,Mixture of Expert)等,使模型泛化能力增强,并具备处理10M+超长序列能力,推动芯片算力(FLOPS)约每两年3倍的提升,需要至少百倍规模的集群演进速度来支撑大模型的发展,但芯片间的互连能力提升缓慢,只有约每两年1.4倍,远落后于模型规模和算力的演进速度。


中国移动
声明

本站内容源自互联网,如有内容侵犯了您的权益,请联系删除相关内容。 本站不提供任何金融服务,站内链接均来自开放网络,本站力求但不保证数据的完全准确,由此引起的一切法律责任均与本站无关,请自行识别判断,谨慎投资。