-
国内大厂AI产品与算力布局
高涨 / 01月05日 13:33 发布
1、字节算力布局及采购情况
2024年算力采购:
芯片采购量:拿了超过二十多万张的H20,大概4到5万张的L20,采购以英伟达的卡为主,还买了一些升腾、海光的K100-AI、寒武纪等芯片,以及少量的昆仑芯类型的芯片。此外,还进阶采购了一些英伟达的H100芯片,但总量不多。
服务器预算:2024年CAPEX的服务器预算为850亿到880亿,其中有大概60万台的通用CPU(英特尔、AMD),构成了算力储备的基本盘。
2025年算力规划:
对国内训练卡的看法:认为国内训练芯片不足以承接自身模型训练任务,主要用国产芯片承接推理需求。
芯片采购策略:对芯片采购不设上限,只要算力采购的合理性和业务必须性没问题。
算力预算:预计2025年算力预算为1400到1500亿,其中通算服务器整机的预算函数增加,可能从60万台的兜底数字增加到80万或100万,CPU采购量可能会上扬30到40万台,通算预算可能会奔着800亿再加一些。海外算力预算500亿左右,国内400亿左右,英伟达份额从去年的80%多下降到40%多。
2、算力应用及需求情况
多模态应用场景:重点关注审核、风控监测、摄像头监测、教育硬件、智能家居、智能设备和消费机器人等领域,以及科研行业的数据验证和比对、互联网内容审核等。抖音主站应用日均调用量在1.5万亿到1.6万亿,带动了大量算力需求。
应用进展预判:认为模型应用的渗透和商业化会随着时间推移快速落地,多模态场景(如图像理解、视频生成、视频理解等)对算力开销会有较大增加,预计明年综合调用量可能从4万亿到40万亿扩容十倍,但这是结构性扩容,文本占比会压缩,其他模态调用量会逐步增加。
传统产品效果提升:随着能力和精度提升,传统产品在严肃场景中能实现较好效果,明年可能会持续对这些场景进行赋能,载体可能更倾向于硬件。
内部需求:认为海外算力会逐步承接训练动作,国内部分芯片会释放到模型推理业务资源池。模型需求明显,所带来的算力增长也可能明显,但很多场景落地和商业化需要逐步适配和打磨。
下游需求:对自身应用落地信心较高,认为下游应用场景中,真正的买的很多芯片都是围绕自有需求,外场调用增长预期没有内部那么乐观。
3、GPU租赁业务情况
GPU租赁毛利及规模:2025年GPU租赁市场毛利会从现在的20%回落到10%以内,租赁价格已在下降。预计明年租赁业务规模会从今年的小几十亿奔着大几十亿去做,释放更多芯片算力会对市场租赁价格产生冲击和影响。
租赁业务计划及预期:计划在2025年做到大几十亿收入,以补充云的营收。不太在意租赁价格,更看重营收规模,有资源成本优势,在价格层有信心与友商PK。租赁业务对AI本身帮助不大,主要是为了赚钱,且与部分租赁客户的生态不一定完全互补甚至可能有冲突。
4、国产芯片情况
2025年上半年国产芯片采购:2025年上半年,字节算力入库流程中,昆仑芯走到了验证环节,昇腾和寒武纪流程相对靠前,每家可能有一万张卡左右的订单,昆仑芯若努力有机会分到小几万张订单,海光的DW100入库节奏较慢,若能在一月份送样,二月份出结果,五六月份以后有机会拿到批量订单。
国产芯片评价:对国产卡座训练没期待,只用其做推理。以A800为锚定,对国内现有芯片进行比对,910B、920C和690排序靠前,海光的BW100、昆仑芯的P800、A800等次之。认为现在国产芯片的综合能力还不错,但很多公司不愿投入人力精力做测试。
5、行业增长预期
国内云厂增长预期:百度增长较小,阿里会跟着字节的节奏往前,投入不会特别小,腾讯的预算不太清楚,但量也不算小。云行业可能有40%到50%的增速,但钱不一定花得出去,因为不是所有厂商都有大量预算投入海外算力资源。
AI云增长预期:围绕模型所产生的收入保守翻倍,高点在搜索里可能翻几倍。市场平均翻个三五倍也合理,字节自己定的目标是to B这侧翻十倍。
6、字节海外模型训练情况
训练投入原因:字节老板有冲劲,愿意在前沿投入力度和预算去探索AI,尽管模型创新可能在放缓,但Meta、Amazon、OpenAI、Google等公司也未暂停,字节的投入量与这些公司相比不算多。同时,字节认可AI,持续投入,未看到力度缩减。
组织架构及人员:字节的海外模型训练由全球模型团队牵头,团队成员分布在新加坡、圣何塞、西雅图等地,共一千四五百人,核心负责人是张一鸣本人。
Q&A
Q:主要算力规划中海外采购的情况如何,包括主要采购芯片及份额占比等?
A:海外主要是英伟达老黄这边的GB200的72的柜子、B200、B300等不同芯片,英特尔、AMD也有机会,但份额比例非常小。目前主要采购份额还是以英伟达的卡为主,其交付和供应情况要看老黄这边的交付节奏和资源节奏。国内此次有大概400亿左右预算,按已知情况会分给英伟达40%。
Q:英伟达在国内的份额为何从去年的80% - 90%下降到40%多?
A:核心原因是美国商务部禁令对英伟达在国内业务拓展产生了实际影响,对其业绩收入和市场垄断地位造成了真实影响。
Q:国内芯片的采销路径是否通畅,老黄的卡在国内是否能拿到?
A:国内造不如买的状态已经过去,芯片采销路径相对通畅。老黄的卡在国内只要愿意多付出一些溢价就能拿到,市场中很多互联网大厂手里有相关卡。
Q:2024年算力购买的总预算是多少,其中通算规划大概是多少?
A:2024年算力购买总预算大概是880亿,其中通算规划大概是500多亿。
Q:880亿预算中用于推理的占比是多少?
A:880亿预算是云资源建设费用,没有严格意义上推理训练的拆分。其中500多亿采购用于短视频存储等基础业务,300多亿用于服务器采购,在全球采购中约30%与推理相关,剩下以训练为主,这300多亿都是AI算力、GPU采购。
Q:300亿GPU采购中除推理业务相关部分外,其余部分用于什么需求?
A:一部分对外出租,给特斯拉、理想、小鹏等自动驾驶厂商提供H100的租赁;另一部分用于自身基座模型使用以及抖音独特业务使用。此外,22万张H100很多未上架,在库房中。
Q:出租部分和自身模型训练部分的占比大概是多少?
A:2024年买的卡基本用于出租、推理和其他应用,没有新增训练卡,出租部分占比约百分之二三十。
Q:2025年算力预算规模大概是多少,通算部分预计是多少?
A:2025年算力预算规模预计是1500多亿,通算部分现在定的是500亿,有可能会达到800亿并再加一些。
Q:2025年海外和国内GPU采购量级分别大概是多少?
A:海外大概500亿,国内大概400亿。
Q:2025年算力预算总金额能否在1500亿基础上有较大提升,取决于什么?
A:一方面要看自身云资源建设节奏,真正需要关注的可能是900亿(CPU建设是另外资源,与关注的芯片不太相关),这900亿目前确定性较高,能否增加要看业务需求。
Q:从业务需求和内部应用来看,使用量是否有明显增长趋势,对未来应用进展有何预判?
A:明年海外算力会逐步承接训练动作,国内A800等芯片会释放补到模型推理业务资源池。对于应用进展持中性或偏乐观态度,认为模型应用的渗透和商业化会随时间推移快速落地,目前在准备芯片预采购和IDC扩容。未来几年图像理解、视频生成等多模态场景对算力开销会增加,但应用效果包括用户接受程度目前没有特别可量化指标。
Q:POS销量及综合调用量明年预计如何变化,且扩容是否为结构性扩容?
A:POS销量今年5月可能几千亿,年底可能达四万多亿,增长十倍。明年综合调用量从token经验看,可能从4万亿到40万亿,扩容十倍,且是结构性扩容,文本占比会从现在的70%-75%压缩到30%左右,图像理解、视频生成等场景调用量会逐步增加。
Q:多模态应用量提升是否主要由模态切换带来?
A:是的,因为不同模态算力开销不同,文本算力需求最小,语音、图片、视频等对算力开销非常大。
Q:从多模态应用来看,内部是否有产品计划或对哪些场景比较关注?
A:有专门整理项目文档,重点关注审核、风控监测,包括视频理解、摄像头监测、教育硬件、智能家居、智能设备、消费机器人等场景,还包括科研行业的数据验证和比对、互联网内容审核等;在社交媒体中会使用多模态模型做风险评估和反欺诈监测,像抖音主站应用日均调用量在1.5万亿 - 1.6万亿,带动大量算力需求。
Q:上述多模态应用场景是字节内部使用还是下游客户使用?
A:是抽象出的通用场景,内部和外部都会使用,会先在内部验证,再推广到外部。
Q:算力增长是否明显?
A:模型需求明显,由模型需求带来的算力增长可能明显,但很多场景落地和商业化需要逐步适配和打磨,目前最成熟的是文本、语音和图像生成,后续图像理解和视频理解逐步成熟后会带来业务增长,进而带动推理算力的补充。
Q:除了抽象场景外,是否有实在产品出现的场景?
A:软件方面,真正有价值的应用包括搜索AI搜索(如豆包)、情感陪伴类(如猫香和星女)、代码生成类助手等,还有端侧应用的重构;企业内部模型应用落地获量明显的是原有资源,应用落地不一定是全新产品,将模型和现有业务结合能更好商业变现;火山引擎会卖接口,在To B侧服务众多公司;从非严肃场景向严肃创新转变,明年可能会看到教育、医疗、法律科普类机器人等应用落地,硬件载体可能更明显。
Q:随着能力和精度提升,是否会对传统产品效果有提升并持续赋能严肃场景?
A:是的。
Q:对于AI算力对外出售部分,内部是否有评估利润率以及相关业务计划和规划?
A:无
Q:2025年GPU租赁市场的毛利是否会下降?
A:2025年GPU租赁市场的毛利在国内最少会从现在的20%回落到10%以内,最少砍半。因为短时间内供需极度不均衡导致出现较高毛利,这种情况不可持续。例如之前GPU A800租赁价格一个月在42000 - 45000元且要捆绑其他项目收入,十月份以后价格降到28000 - 30000元。
Q:做GPU租赁的上市公司明年业绩是否会受影响?
A:做GPU租赁的上市公司明年日子可能不如今年,因为其合同大多按年签或按月签,价格波动明显,会出现大批次的GPU租赁毛利下滑情况。
Q:释放更多芯片算力给到市场,是否会对算力租赁价格产生冲击和影响?
A:会产生非常大的冲击和影响。租赁生意规模今年接近小几十亿,明年预计奔着大几十亿去做,释放更多芯片算力会冲击市场租赁价格。
Q:持续做算力租赁业务且降低价格,是否有其他计划和预期?
A:计划在2025年做到大几十亿收入,因为云营收要从今年的一百多亿增长到明年的两百多亿,需要更多GPU收入做补充。在价格方面不太在意租赁价格,更看重营收规模,且有资源成本优势,有信心在价格层面与友商竞争。
Q:做AI云及算力租赁业务对未来生态建设及AI布局是否有赋能?
A:没有什么赋能,租赁主要是为了赚钱。绝大多数租赁算力的公司自己做模型,与自身生态不一定互补,甚至可能有冲突。
Q:是否要提前布局AI云算力来抢夺新市场?
A:AI云和GPU租赁(GPU云)是两回事。AI云更多是在云基座本身提供各类AI服务和能力,基于模型能力进行商业售卖;GPU租赁是基础IaaS生意,对于应用的补足关系不大,公司层面还是以卖模型为主。
Q:AI算力的IaaS服务是否不算AI云,MaaS、PaaS、SaaS服务才算AI云范畴?
A:是的,因为做AI算力的IaaS服务相当于给芯片厂商打工,没有太多福利,而MaaS、PaaS、SaaS服务更符合AI云范畴。
Q:2025年采购国产算力预算中,国内厂商的分布情况如何?
A:2025年上半年,可能主要采购昇腾和寒武纪的产品,每家可能一万张卡;昆仑芯如果努力,可能会分到小几万张订单;2025年机会面较大的还有海光,其DW100芯片还不错,FP16 460多万,线上测试折损率相对较低。这是因为字节侧算力入库流程漫长,昆仑芯目前处于验证环节还未完成,海光等其他厂商流程也未走完。
Q:海光DW100在当前采购链中存在的最大问题是什么,其拿到批量订单预计在何时?
A:海光DW100在当前采购链中最大的问题是入库节奏太慢,目前甚至未拿到样卡,若有送样预计是1月份送样,2月份出结果。按照流程,海光想拿到批量订单不是完全没机会,但节奏上最少要到5、6月份以后,因为流程环节无法省略。
Q:寒武纪、昆仑芯、海光等产品与公司适配情况及订单预期如何?
A:几家产品可能没有太大差距,主要看与公司的适配情况。寒武纪已有9万多张卡的预期;昆仑芯还在验证阶段,若上半年走完流程,可能拿到小几万张订单;海光因还未开始入库,订单预期尚不明确,有机会拿到订单,但要看其整体节奏。
Q:国产芯片在推理应用方面的综合能力排序如何?
A:若以A800作为锚定,按照现有国内芯片做比对,用于推理应用方面,综合能力排序靠前的有910B、920C和690,算力可能为1.8 - 1.9;其次可能是海光的BW100,FP16为460多,算力约1.4;再之后可能是昆仑芯的P800,算力约1.2G,其HBM3满血,弹性不错,比A800略强;再往后是A800、590(算力0.92 - 0.95)、910B(算力0.88 - 0.89)。
Q:2024 - 2025年GPU预算大幅增长的驱动因素有哪些,下游客户主要来自哪些行业?
A:2024年GPU预算约400亿,2025年预计增长到1000亿左右,增长驱动因素包括内部需求增长,如日均调用token可能大幅增长;外部算力租赁规模预计从小几十亿增长到大几十亿。下游客户主要来自音视频、社交等有发货场景的行业,可辅助对话审核;还有硬件端侧结合模型做图像理解等行业。
Q:2025年算力增长预期中,训练和推理的占比分别是多少,对应用落地的信心如何?
A:2025年海外有五百多亿预算,其中80% - 90%用作训练。对自身应用落地信心较高,如豆包包厢、抖音主站业务及各业务融合等用量较多,但对于下游厂商外部调用相对不乐观,明年对外售卖可能在3.5万亿 - 4万亿,很多芯片采购围绕自有需求。
Q:国内云厂(如阿里云、腾讯云等)2025年的增长预期如何?
A:百度增长较小;阿里会紧跟节奏投入,投入不会特别小;腾讯预算情况不太清楚,但整体量也不算小。行业资本开支增速预期在40% - 50%,但钱不一定能花出去。
Q:AI云需求的增长趋势如何?
A:保守估计AI云需求最少翻倍,围绕模型产生的收入高点可能翻几倍,to B侧目标是翻十倍,市场平均翻三五倍也合理。
Q:2025年海外训练算力500亿的增长趋势如何?
A:2024年基本没有,2025年是直接增长出来的。2026年的增长情况要看2025年OpenAI的情况及整个模型训练情况,若OpenAI的GPT5没有突出表现,可能增长就会受限。
Q:如果今年模型没有新东西,明年资本开支是否会减少?
A:今年下半年是决定明年资本开支最关键的时候,要看基座模型有没有新东西出来。如果没有,明年投入可能会砍半,若还有推理和训练需求,投入搞不好就要砍半。
Q:500亿的量级折算成A800大概是多少张?
A:500亿除以100万再除以8 ,即500亿量级折算成A800的数量按此计算。
Q:今年训练算力的量是否比较少,明年500亿是否是一个很大的增长点?
A:今年在海外训练算力投入较少,明年在海外会有很大增长,因为今年在海外基本没投入。
Q:为什么字节在海外要投入几百亿在训练侧继续训练模型,在模型技术创新放缓的情况下,其他厂商投资相对保守,字节为何要投入500亿量级做训练?
A:字节老板是80后,有冲劲。70亿美金(500亿量级)跟Meta和Google等相比不算多。国内很多公司因有本土保护机制,更愿意做跟随者。而字节在目前阶段愿意在前沿投入更多力度和预算,认可在AI方面的投入,且认为现在所做的投入和相关动作都可能对模型有帮助。
Q:字节海外模型训练是怎样的组织架构牵头在做?
A:是国内的C的团队,是一个全球的模型团队。最底层如模型文本、图形云等,在新加坡、圣何塞、西雅图等地都有人员。会逐步把算力放在海外,协调部分人力并尝试将数据挪到海外,但数据可能出不去。
Q:全球的模型C的团队现在有多少人?牵头的人是什么背景?
A:有一千四五百人。牵头人朱雯佳履历背景不太明确,但在业界较出名。字节模型核心负责人应该是张一鸣本人,很多涉及人、算力、招募等事项都是张一鸣直接洽谈。纪要私享圈