-
天风证券:豆包推理约需百万张H20算力,推理算力需求有望再超预期(附股)
kuru / 今天08:55 发布
1、正式发布豆包大模型1.5Pro,全面提升多模态能力、推理能力,多项公开评测基准上全球领先,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线:
1)高效模型结构,超低成本:豆包1.5PRO使用较小的激活参数进行预训练,训练成本极低。此外,采用大规模稀疏MoE架构,等效7倍激活参数的Dense模型性能,远超业内MoE架构约3倍杠杆的常规效率。
2)视觉方面:相比于上一版本,Doubao-1.5-pro 进一步增强了模型在视觉推理、文字文档识别、细粒度信息理解、指令遵循等方面的能力。
3)语音方面:采用Speech2Speech端到端框架,表现力实现质的飞跃,目前该模型已在豆包APP全量上线。
4)真实数据:所有模型训练过程中,未使用任何其他模型生成的数据。
2、综合能力领先,效果超越GPT-4o、Claude3.5
豆包大模型1.5Pro在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。综合得分优于 GPT-4o、Claude 3.5 Sonnet 等业界一流模型。
3、1月最新日均Tokens使用量约6万亿,月增速50%,推理算力需求转化H20近百万张
根据火山引擎,截至1月20日,豆包最新日均Token使用量约6万亿,月增速50%,根据测算,推理所需算力达144.83 Eflops,转化为H20约需97.86万张。根据AI产品榜,豆包12月APP+WEB月活为1.03亿,相比11月增速达26.43%。我们认为2025年随着字节在AI的进一步发力,豆包等大模型的应用会进一步对推理算力的需求提升。
:
1)AI芯片四小龙:寒武纪、海光信息、神州数码、景嘉微
2)AI Agent:汉得信息、海天瑞声、中科创达、亚信安全、新致软件、神州数码
3)端侧:兆易创新、瑞芯微、乐鑫科技、恒玄科技、中科蓝汛、炬芯科技等。