水晶球APP 高手云集的股票社区
下载、打开
X

推荐关注更多

柴孝伟

买进就值,越来越值,时享价...


邢星

邢 星 党员,国...


石建军

笔名:石天方。中国第一代投...


揭幕者

名博


洪榕

原上海大智慧执行总裁


小黎飞刀

黎仕禹,名博


启明

私募基金经理,职业投资人


李大霄

前券商首席经济学家


桂浩明

申万证券研究所首席分析师


宋清辉

著名经济学家宋清辉官方账号...


banner

banner

【国盛计算机】豆包算力需求测算

A股计划   / 今天08:04 发布

核心观点
字节豆包MAU近6000万,大模型调用量增长迅速。12月18日,字节召开火山引擎Force大会,火山引擎CEO谭待表示,截至目前,豆包大模型日均tokens使用量超过4万亿,发布7个月以来增长超过33倍。11月豆包MAU接近6000万,在AI产品榜·全球总榜中仅次于ChatGPT 2.87亿的MAU。11月豆包的MAU增速达16.92%,考虑当前豆包增速,我们认为豆包在2025年的MAU有望接近ChatGPT达到2亿。我们认为字节在算力端的投入有望高速增长,助推AI算力相关产业链加速扩张。

豆包调用量有望推动算力各环节价值量增长。根据上文对豆包2025年MAU及日均token数的测算,我们认为豆包有望助推AI算力产业链需求扩张。以下为对豆包大模型算力需求对应产业链各环节需求测算:






2024

2025E

备注

豆包月活(亿)

0.6

2

11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92%

模型参数量(亿)

1300

1300

基于云雀大模型

平均每秒并发token数(亿/s)

0.46

1.54

一天有24*3600s

峰值token倍数(倍)

5

5

推理在一天中峰谷波动明显

总算力需求(FLOPS)

1.20E+20

4.01E+20

假设总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率50%

GPU/服务器需求




GPU需求(万张)

80.81

271.10

以H20 FP16算力148TFLOPS为基准

服务器需求(万台)

10.10

33.89

以八卡英伟达H20服务器为基准

H20服务器售价(万元/台)

90.00

80.00

假设明年价格略微下行

服务器价值(亿元)

909.12

2711.04


——GPU +基板价值(亿元)

660.02

1968.22

参考H100中成本占比72.6%

——服务器中DRAM价值(亿元)

26.36

78.62

参考H100中成本占比2.9%

——服务器中NAND占价值(亿元)

11.82

35.24

参考H100中成本占比1.3%

数据中心相关设备




光模块数量(万个)

242.43

813.31

1张GPU对应3个光模块

数据中心存储价值(亿元)

144.93

432.20

估算为服务器价值量的11/69

电源价值量(亿元)

9.70

32.53

以2000元/千瓦计算

IDC年租金(亿元)

47.27

158.60

参考极云科技在成都8kw整柜78000元/年

冷板式液冷价值量(亿元)

2.62

31.23

以6000元/千瓦计算

浸没式液冷价值量(亿元)

0.48

13.01

以10000元/千瓦计算

资料来源:财联社,36氪,百度智能云,腾讯技术工程,深圳市电子商会,融资中国,芯智讯,半导体行业观察,中研网,曼陀咨询,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所





芯片:寒武纪等

电源:欧陆通等
IDC:润泽科技、亚康股份等
服务器/主板:浪潮信息、华懋科技、软通动力、神州数码、拓息等
散热:英维克、申菱环境、高澜股份等
潜在存储:兆易创新等



风险提示AI技术迭代不及预期风险;经济下行超预期风险;行业竞争加剧风险;关键假设有误差风险。



报告正文



01

字节豆包MAU近6000万,大模型调用量增长迅速


1218日,字节召开火山引擎Force大会,火山引擎CEO谭待表示,目前豆包大模型日均tokens使用量超过4万亿,自发布以来七个月增长超过33倍。

会上,字节跳动正式发布了豆包视觉理解模型、豆包3D生成模型,以及全面升级的豆包通用模型pro、音乐模型和文生图模型等。其中,豆包视觉理解模型千tokens输入价格仅为3厘,一元钱就可处理284张720P的图片。火山引擎Force大会还宣布,字节跳动将在2025年春季推出具备更长视频生成能力的豆包视频生成模型1.5版,豆包端到端实时语音模型也将很快上线。

36氪,11月豆包MAU接近6000万,在AI产品榜·全球总榜中仅次于ChatGPT 2.87亿的MAU我们认为,豆包作为国内大模型的代表,参数量或有千亿级别,叠加其4万亿/天的token消耗,字节在算力端的投入或十分巨大、且仍在高速增长,有望助推AI算力链公司加速扩张。11月豆包的MAU增速达16.92%,考虑当前豆包增速,我们认为豆包在2025年的MAU有望接近ChatGPT达到2亿,假设token数与月活成正比,对应每秒并发tokens数为1.54亿。据百度智能云,推理服务一个典型的负载模式是一天中峰谷波动明显,且会出现不可预期的短时间流量激增。这就出现了虽然峰值很高,但平均利用率却很差,均值经常不到 30%甚至20%,因此我们估算豆包的峰值token数是平均token数的五倍。

图表1:豆包算力需求测算





2024

2025E

备注

豆包月活(亿)

0.6

2

11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92%

日均token数(亿)

40,000

133,333

假设token数与月活成正比

平均每秒并发token数(亿/s)

0.46

1.54

一天有24*3600s

峰值token倍数(倍)

5

5

推理在一天中峰谷波动明显,平均利用率经常不到30%甚至20%,

资料来源:财联社,36氪,百度智能云,国盛证券研究所





02

多模态快速发展,结合大模型带来更多应用场景


根据上文对豆包2025年MAU及日均token数的测算,我们认为豆包有望助推AI算力产业链需求扩张。以下为各环节需求测算:

服务器:
据腾讯技术工程,大模型的推理过程中,主要计算量在Transformer 解码层,这一层对于每个 token、每个模型参数是一个单位 unit 的计算量,所以推理过程每个 token、每个模型参数,需要进行1 unit × 2 flops =2次浮点运算。因此我们估算豆包大模型对应算力需求= 2*参数量*每秒token数*峰值token倍数/算力利用率,该方法可能存在一定误差。

据融资中国,豆包(云雀)大模型参数规模为1300亿。根据百度智能云报道,一般情况下,在线服务的 GPU 使用率不高,在 20%左右。另外,若部署其用户态方案,保证在线服务的 SLA相同的情况下,可以将GPU资源利用率提升至35%。我们基于对算力需求保守估计的角度出发,假设字节对算力的利用率达到50%。以H20为例,其FP16算力为148TFLOPS,功耗为400W。以下测算用上述H20的FP16算力作为基准,可能存在一定误差。

据深圳市电子商会2024年5月消息,一台八卡英伟达H20服务器目前市场价可能下探至约100万元人民币,考虑随时间推移旧型号价格可能持续下降,以下测算以一台八卡英伟达H20服务器今年价格90万,明年价格80万为基准。

具体到服务器中部件成本,如果参考H100,据半导体行业观察,一个8 GPU + 4 NVSwitch 基板的Nvidia DGX H100服务器价格为268495美元,其 BOM 成本明细包括供电、内存、组装、冷却、GPU 成本、CoWoS 成本、裸片成本、成品率成本、HBM 成本等。其中 GPU + 基板价值量为195000美元,占比72.6% 存储占比为DRAM 2.9%和NAND 1.3%。

图表2:豆包服务器需求测算





2024

2025E

备注

模型参数量(亿)

1300

1300

基于云雀大模型

平均每秒并发token数(亿/s)

0.46

1.54

一天有24*3600s

峰值token倍数(倍)

5

5

推理在一天中峰谷波动明显

总算力需求(FLOPS)

1.20E+20

4.01E+20

总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率设为50%

GPU需求(万张)

80.81

271.10

以H20 FP16算力148TFLOPS为基准

服务器需求(万台)

10.10

33.89

以八卡英伟达H20服务器为基准

H20服务器售价(万元/台)

90.00

80.00

假设明年价格略微下行

服务器价值(亿元)

909.12

2711.04


——GPU +基板价值(亿元)

660.02

1968.22

参考H100中成本占比72.6%

——服务器中DRAM价值(亿元)

26.36

78.62

参考H100中成本占比2.9%

——服务器中NAND占价值(亿元)

11.82

35.24

参考H100中成本占比1.3%

资料来源:腾讯技术工程,深圳市电子商会,融资中国,百度智能云,芯智讯,半导体行业观察,国盛证券研究所





数据中心存储
据中研网,数据中心IT设备成本中服务器成本占比为69%,存储成本占比为11%。
因此我们估算豆包算力所需数据中心存储的价值量为服务器价值量的11/69。

光模块
据曼陀咨询,大模型的参数规模越来越大,进而带来交换网络层数的提升,GPU和光模块的配比提升。GPT-4在25K张GPU上训练需要75000个光互连。未来的10万个超大计算,需要50万个光互联,GPU与光模块的配比为1:5。我们假设豆包算力所需的光模块配比与GPT-4类似,则为1张GPU对应3个光模块。

电源
据半导体行业观察,每台 DGX H100 服务器正常运行时的预期平均功率 (EAP) 约为 10,200 W,每台服务器 8 个 GPU 的每一个 GPU 的功率为1,275 W。其中包括 H100 本身的 700W 热设计功耗 (TDP),以及双 Intel Xeon Platinum 8480C 处理器的约 575W(分配给每个 GPU)以及 2TB R5 内存、NVSwitches、NVLink、NIC、重定时器、网络收发器等加上整个 SuperPOD 的存储和管理服务器以及各种网络交换机的电力需求参考H100服务器的功耗与GPU的功耗比例为10200/(700*8),我们保守按服务器功耗为GPU功耗的1.5倍来测算豆包算力所需服务器功耗。

参考爱采购网U1A-D10800-DRB U1A-D10800-DRB-Z 800W欧陆通服务器电源模块60个起批价为1900元,对应电源价值量为1900元/800W,即2.375元/W。我们保守按2000元/千瓦来测算豆包算力所需电源的价值量。


IDC租金
我们参考极云科技在成都IDC高电机柜的租金,40a电流8kw整柜租用年付优惠价为78000元/年;各家IDC厂商定价以及不同地域IDC价格可能有所差别。


液冷
据三大运营商联合发布的《电信运营商液冷技术白皮书》,三大运营商规划于2023年开展技术验证,2024年规模测试,新建数据中心10%规模试点应用液冷技术;而到2025年开展规模应用,50%以上数据中心项目应用液冷技术。我们假设豆包算力设施在2024年液冷渗透率10%,2025年液冷渗透率40%。


IDC数据显示,2023上半年,中国液冷服务器市场中,冷板式占到了90%,主要取决于传统数据中心对原有基础设施改造成本和难度的关注度,以及当前冷板式方案成熟度较高,商用基础较好。长远来看,浸没式在散热效率和单机柜功率、空间利用率等方面比冷板式具有显著优势。


据明德源能估计,浸没式液冷系统的建设成本大约在每千瓦1万元人民币以上,这还不包括可能的额外维护和更换冷却液的费用。冷板式液冷其建设成本平均每千瓦约在6000-8000元人民币,远低于浸没式液冷。参考IDC数据2023年冷板式占比90%,考虑到IDC指出长远来看浸没式具有优势,我们估算时假设浸没式明年加快推进,按浸没式液冷价值1万/千瓦,今年占比10%,到25年占比提升到20%;冷板式液冷价值6000/千瓦,今年占比90%,25年占比80%。

图表3:豆包服务器需求对应数据中心设施测算





2024

2025E

备注

GPU需求(万张)

80.81

271.10

以H20 FP16算力为基准

服务器价值(亿元)

909.12

2711.04


光模块数量(万个)

242.43

813.31

1张GPU对应3个光模块

数据中心存储价值(亿元)

144.93

432.20

估算为服务器价值量的11/69

GPU总功耗(千瓦)

323243.24

1084417.75

以H20每张400W为基准

服务器总功耗(千瓦)

484864.86

1626626.63

以服务器功耗为GPU功耗的1.5倍计算

电源价值量(亿元)

9.70

32.53

以2000元/千瓦计算

IDC年租金(亿元)

47.27

158.60

参考极云科技在成都8kw整柜78000元/年

液冷占比

0.10

0.40


冷板式液冷占比

0.90

0.80

长远看浸没式有优势,假设浸没式加速推进

冷板式液冷价值量(亿元)

2.62

31.23

以6000元/千瓦计算

浸没式液冷占比

0.10

0.20

长远看浸没式有优势,假设浸没式加速推进

浸没式液冷价值量(亿元)

0.48

13.01

以10000元/千瓦计算

资料来源:中研网,曼陀咨询,半导体行业观察,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所




综上,我们对豆包大模型算力需求(非字节全部业务算力需求)对应产业链各环节需求测算如下

图表4:豆包算力产业链各环节需求测算





2024

2025E

备注

豆包月活(亿)

0.6

2

11月豆包APP MAU为0.60亿,ChatGPT约为2.87亿,11月豆包的MAU增速达16.92%

模型参数量(亿)

1300

1300

基于云雀大模型

平均每秒并发token数(亿/s)

0.46

1.54

一天有24*3600s

峰值token倍数(倍)

5

5

推理在一天中峰谷波动明显

总算力需求(FLOPS)

1.20E+20

4.01E+20

假设总算力需求(FLOPS)=2*参数量*每秒token数*峰值token倍数/算力利用率50%

GPU/服务器需求




GPU需求(万张)

80.81

271.10

以H20 FP16算力148TFLOPS为基准

服务器需求(万台)

10.10

33.89

以八卡英伟达H20服务器为基准

H20服务器售价(万元/台)

90.00

80.00

假设明年价格略微下行

服务器价值(亿元)

909.12

2711.04


——GPU +基板价值(亿元)

660.02

1968.22

参考H100中成本占比72.6%

——服务器中DRAM价值(亿元)

26.36

78.62

参考H100中成本占比2.9%

——服务器中NAND占价值(亿元)

11.82

35.24

参考H100中成本占比1.3%

数据中心相关设备




光模块数量(万个)

242.43

813.31

1张GPU对应3个光模块

数据中心存储价值(亿元)

144.93

432.20

估算为服务器价值量的11/69

电源价值量(亿元)

9.70

32.53

以2000元/千瓦计算

IDC年租金(亿元)

47.27

158.60

参考极云科技在成都8kw整柜78000元/年

冷板式液冷价值量(亿元)

2.62

31.23

以6000元/千瓦计算

浸没式液冷价值量(亿元)

0.48

13.01

以10000元/千瓦计算

资料来源:财联社,36氪,百度智能云,腾讯技术工程,深圳市电子商会,融资中国,芯智讯,半导体行业观察,中研网,曼陀咨询,爱采购,极云科技,电信运营商液冷技术白皮书,IDC,明德源能,国盛证券研究所





03

投资建议


芯片:寒武纪等

电源:欧陆通等

IDC:润泽科技、亚康股份等

服务器/主板:浪潮信息、华懋科技、软通动力、神州数码、拓息等

散热:英维克、申菱环境、高澜股份等

潜在存储:兆易创新等