高质量大模型基础设施研究报告（2024年）

　　一、大模型基础设施概述

　　大模型技术作为人工智能领域的突破性进展，正迅速推动各行各业的智能化转型。随着参数量的增长，大模型展现出强大的理解能力和复杂数据处理能力，在金融、医疗、政务等行业的应用日益广泛。然而，参数量的增加也给大模型落地带来了巨大的挑战，提高大模型基础设施能力，满足大模型全生命周期对基础设施的新需求成为首要任务。

　　（一）大模型基础设施概念与特性

　　大模型基础设施是指支持大规模人工智能模型（如大语言模型、多模态大模型等）训练、部署和应用的硬件和软件资源的集合，它包括高性能计算、海量数据存储、高速网络连接资源，以及相应的软件框架和工具链，旨在为大模型的开发、训练和推理提供高效、可靠和可扩展的支撑环境。

　　大模型全生命周期要求大模型基础设施具备高可用、高性能、可扩展、可评价等特性。

　　（1）高可用：稳定的大模型业务支撑能力

　　高可用是指在提高大模型基础设施平均无故障运行时间（MeanTimeBetweenFailures，MTBF）的同时考虑更短的平均故障定位时间（MeanTimetoIdentify，MTTD）和平均故障恢复时间（MeanTimeToRecovery，MTTR），综合考虑存储、运维、开发软件等维度。

　　可用度是指大模型基础设施集群在一定时间内提供正常服务的时间占总时间的比例，通常用百分比表示。数据显示，当前集群可用度普遍低于50%。Meta50000+卡训练任务1和OpenAIGPT-425000卡训练任务集群算力可用度在30%～40%之间，英伟达Megatron-LM和微软MT-NLG10000+卡训练任务的集群算力可用度在40%～50%之间，字节跳动万卡集群MegaScale集群算力可用度仅达55.2%2。大模型基础设施的可用度仍有较大提升空间。

　　平均无故障运行时间是全系统维度的考量，指大模型基础设施运行时相邻两次故障之间的平均工作时间，也称为平均故障间隔。平均故障定位时间是运维维度上的考量，指大模型作业运行时，基础设施集群出现故障到故障首次被发现的平均时间，关注的是故障定位效率。平均故障恢复时间是存储、开发软件、运维等维度的考量，指大模型基础设施发生故障后修复所需的平均时间，关注故障恢复效率。

　　（2）高性能：高效的大模型业务运行能力

　　高性能是指提高大模型基础设施的算力供给能力。算力供给能力即“大模型基础设施算力规模”乘以“算力利用率”，综合考虑计算与开发软件等维度。

　　算力规模和硬件算力利用率是计算维度的考量，算力规模指大模型基础设施理论计算规模，计算方式为“单节点算力规模”乘以“节点数”，理论算力规模数值越大，代表潜在的计算能力越大。硬件算力利用率（HardwareFLOPsUtilization，HFU）是指考虑重计算后，模型一次前反向计算消耗的矩阵算力与机器算力的比值。硬件算力利用率越高，代表资源利用越充分。

　　（3）可扩展：资源需求与技术发展的共同选择

　　可扩展指的是大模型基础设施在负载增加时，通过增加资源维持或提高性能的能力，在具备扩建能力的同时，兼具技术兼容的特性。

　　在资源需求上，可扩展性体现在既有基础设施的扩建和有效利用上。随着企业大模型业务需求的不断增长，在成本控制的背景下，企业希望充分利用既有基础设施，对现有基础设施升级改造同时预留二次升级改造的接口，以适应不断发展的大模型业务需求。

　　在技术发展上，可扩展性体现在对计算、网络、存储、开发、运维等技术的“前”向接口兼容和“后”向更新迭代上。计算软件、网络协议、存储软件、开发平台和运维平台等应支持不同品类、不同协议、不同技术路线的硬件产品，以实现大模型基础设施的可扩展。

　　（4）可评价：多角度反映大模型基础设施应用成效的多元评价

　　可评价是指面向大模型应用场景，大模型基础设施可通过完整、有效的评价体系反映其赋能成效。

　　当前大模型基础设施评价体系存在评价维度单一等问题，亟需扩充评价维度，以便更系统、更全面、更深入地反映大模型基础设施赋能效果。一是明确大模型基础设施的评价指标，确定需要评估的特性或参数，如计算能力、存储性能、网络带宽、可靠性、可扩展性等。二是建立评价方法，采用适当的工具和技术，收集和分析相关数据，以评估大模型基础设施的整体能力。三是确定用于评价的数据采集与分析方法，通过检测、测试或模型模拟的方式，获取大模型基础设施运行过程中的数据，分析得出评价结果。

点击复制链接查看完整PDF研报

中国信通院 人工智能研究所