随着国产AI大模型的不断迭代和应用场景的拓展，算力需求将持续增长。今天就带大家了解下目前我国AI算力产业的发展现状。

　　1、算力有哪些核心指标？

　　算力芯片的主要参数指标为算力浮点数，显存，显存带宽，功耗和互连技术等。

　　算力浮点数：算力最基本的计量单位是 FLOPS，即每秒执行的浮点运算次数。算力可分为双精度(FP64)，单精度(FP32)，半精度(FP16)和 INT8。FP64 计算多用于对计算精确度要求较高的场景，例如科学计算、物理仿真等;FP32 计算多用于大模型训练等场景;FP16 和 INT8 多用于模型推理等对精度要求较低的场景。　

　　GPU显存：显存用于存放模型，数据显存越大，所能运行的网络也就越大。

　　在预训练阶段，大模型通常选择较大规模的数据集获取泛化能力，因此需要较大的批次等来保证模型的训练强大。而模型的权重也是从头开始计算，因此通常也会选择高精度(如 32 位浮点数)进行训练。需要消耗大量的 GPU 显存资源。

　　在微调阶段，通常会冻结大部分参数，只训练小部分参数。同时，也会选择非常多的优化技术和较少的高质量数据集来提高微调效果，此时，由于模型已经在预训练阶段进行了大量的训练，微调时的数值误差对模型的影响通常较小。也常常选择16位精度训练。因此通常比预训练阶段消耗更低的显存资源。

　　在推理阶段，通常只是将一个输入数据经过模型的前向计算得到结果即可，因此需要最少的显存即可运行。

　　显存带宽：是运算单元和显存之间的通信速率，越大越好。

　　互连技术：一般用于显存之间的通信，分布式训练，无论是模型并行还是数据并行，GPU 之间都需要快速通信，不然就是性能的瓶颈。

　　从单芯片能力看，训练产品与英伟达仍有 1-2 代硬件差距。根据科大讯飞，华为昇腾 910B 能力已经基本做到可对标英伟达 A100。推理产品距离海外差距相对较小。

　　从生态看，大模型多数需要在专有框架下才能发挥性能，软件生态差距明显，移植灵活性，产品易用性与客户预期差距较大。客户如果使用国产 AI 芯片，需要额外付出成本。

　　从研发能力看，产品研发能力(设计与制程)，核心 IP(HBM，接口等)等不足，阻碍了硬件的性能提升。

　　3、国产化和生态抉择

　　海外制裁后，AI 芯片国产化诉求加大。主要系供应链安全和政策强制要求。

　　2024年3月22日，上海市通信管理局等 11个部门联合印发《上海市智能算力基础设施高质量发展 “算力浦江”智算行动实施方案(2024-2025 年)》。到2025年，上海市市新建智算中心国产算力芯片使用占比超过 50%，国产存储使用占比超过50%，服务具有国际影响力的通用及垂直行业大模型设计应用企业超过10家。

　　但国产AI芯片由于生态、稳定性、算力等问题，目前较多用于推理环节，少数用于训练。如用于训练，则需花费较多人员进行技术服务，额外投入资源较大。

　　华为与讯飞构建昇腾万卡集群。2023 年10 月24 日，科大讯飞携手华为，宣布首个支撑万亿参数大模型训练的万卡国产算力平台“飞星一号”正式启用。1月30日，讯飞星火步履不停，基于“飞星一号”，启动了对标 GPT-4 的更大参数规模的大模型训练。

　　四、国内 AI 算力市场空间

　　IDC报告预计，2023年中国人工智能服务器市场规模将达 91 亿美元，同比增长82.5%，2027年将达到 134 亿美元，2022-2027 年年复合增长率达 21.8%。

　　算力需求市场空间巨大。在英伟达GTC大会上，黄仁勋讲到，如果要训练一个 .8万亿参数量的GPT模型，需要8000张HopperGPU，消耗15兆瓦的电力，连续跑上90天。如果中国有十家大模型公司，则需要8万张H100GPU。我们预计，推理算力需求将是训练的数倍，高达几十万张H100。随着模型继续迭代，算力需求只会越来越大。

　　算力服务器液冷技术是一种采用液体作为散热介质的冷却方式。算力服务器液冷技术主要分为冷板式、浸没式和喷淋式三种。冷板式液冷目前行业成熟度最高，2023 上半年，中国液冷服务器市场中，冷板式占到了 90%。

　　两大催化推动算力液冷产业加速发展：

　　1) AI 的快速发展，GPU成为未来数据中心建设的主要方向。GPU 功耗显著高于CPU，且提升速度逐步加快。3月19日，GTC大会英伟达提出GB200 使用液冷方案，其中GB200NVL72服务器提供36个CPU和72个BlackwellGPU，并使用一体水冷散热方案，全部采用液冷MGX封装技术，成本和能耗降低25倍。

　　2)国家政策对数据中心PUE 建设要求越来越高。液冷技术是降低制冷系统能耗的主要技术手段。