Q&A

针对AI算力产业链，有哪些细分方向值得关注？

AI算力产业链中的AI芯片、服务器、整机、同链接、HBM液冷等细分板块，随着新一代算力架构推出，其价值量有望提升，推荐相关公司如海光、寒武纪、龙芯、中科等AI芯片厂商；工业富联、浪潮、曙光、华情、长城、高新发展、神州数码等服务器整机厂商；散热、主板、HBM同连接组件的光模块厂商；以及数据中心厂商如奥飞数据、光环新网等。

英伟达GB200相较于上一代产品的计算能力有何提升？

英伟达GB200计算能力远超过上一代的Hopper架构H100等产品，集成有2080亿个晶体管，采用台积电NCP制程，双芯片架构，拥有192GB的HBM3E内存，并且AI算力达到了20P FP4，是Hopper架构的五倍。此外，GB200NVL72整机柜相比H100训练速度提升了大约30倍。

在需求端，互联网大厂对于AI芯片和高性能GPU芯片的需求如何？

互联网大厂如Meta、谷歌、微软和亚马逊等厂商对于AI芯片等算力需求持续谨慎，并且预计在2024年及之后财季资本开支会显著增加，表明高性能GPU芯片的需求依然旺盛。

英伟达的新一代服务器系列和GB200NVL72整机柜对服务器行业的影响是什么？

英伟达服务器系列主板从HGX发展到MGX，其中GB200NVL72整机柜的价值量将随着blackwell系列的应用而持续提升，有望带动服务器整机柜价值量的增长。

GB200NVL72整机柜对HBM、DAC和液冷市场的影响如何？

GB200NVL72整机柜的出货将促进HBM、DAC以及液冷市场的价值量增长。HBM3E预计下半年批量出货，2026年HBM4也会上市；DAC市场保持较快增长；冷板式液冷技术成熟，GB200NVL72将采用更多液冷方案。

英伟达黑湖B200相比H100在计算能力和功耗上有何显著变化？

黑湖B200相较于H100，计算能力大幅提升，具体表现为200的FP4计算精度下的计算能力达到20P，是FP8精度计算能力的2倍。同时，NV link带宽从B200的3.6TB每秒提升到H200的3.6TB每秒，得益于两片B200进行集成。此外，显存容量从B200的384GB增加至H200，显存带宽达到16GB每秒。但随着性能的提升，功耗也显著增长，例如从B200的七八瓦增长到了H200的1000瓦。

英伟达黑湖B200与H100在工艺、封装和性能上有哪些主要差异？

黑湖B200采用了台积电的NCP工艺，而H100采用N4工艺，因此在精度上有一定提升，并且是多芯片封装，由两个大芯片组成，计算性能和通信能力显著增强。黑湖B200通过整合两块B200以及一块Grace CPU实现高速互联，其中GPU算力和显存持续加倍，CPU与GPU之间通过900GB每秒的C2C互联，功耗预期为2700瓦，算力相较于H100提升约六倍，处理特定领域任务的算力更是接近30倍。

英伟达在未来几年内计划如何迭代其GPU架构和产品线？

未来几年，英伟达将保持一年一次迭代更新其GPU架构和产品线。预计2025年推出Blackwell Ultra GPU，2026年推出Rubin Ultra架构GPU，并且可能会集成8克HBM4；2027年可能会推出Rubin GPU和12KHBMC的新版本，以实现算力及显存带宽容量的持续提升。

英伟达除了GPU外，在其他芯片产品线方面有何规划？

英伟达在CPU方面，计划在2023年推出Grace CPU，2026年推出Va架构CPU产品。在互联方面，目前使用第五代NV Link，计划2026年推出第六代NV Links Switch。同时，每年都会推出新的Spectrum X以太网网络平台。

互联网厂商对于AI服务器的需求状况如何？黑湖系列服务器如何影响服务器机柜的价值量提升？

互联网厂商资本开支持续增长，采购AI服务器的比重增加。微软、谷歌、Meta和亚马逊等公司在Q2的资本开支中，分别用于基础设施建设、服务器、CPU和GPU等方面的投资。其中，预计2024年英伟达在多种AI服务器中占比64%，AMD芯片及其他品类服务器占比分别为8%和25%，自研ASIC服务器占比约26%。此外，OpenAI模型加速迭代也将带来算力需求的持续增长。随着英伟达黑湖系列服务器（如MGX版本）的推出，服务器制造等级从L1到L12逐渐提升，尤其是对机架级（L11到L12）服务器的价值量影响显著。之前H系列通过HGX和DJX两种方式出货，而现在更多采用MGX模组，这种开放化、模块化的制造形式将对服务器机柜的价值量产生积极影响。

在当前的整机柜组装架构中，一个整机柜是如何被组织的？NVL72整机柜的主要组成部分及其特性是什么？

现在的整机柜中，一个计算单元取代了原来的八卡服务器架构，例如NVL72整机柜包含18个计算单元和9个交换单元，它们由片状托盘组成。通过八台这样的NVL72整机柜可以组成一个super pod，随着芯片技术代际的变化，带来了整机柜组装架构的革新。NVL72整机柜包含18个计算托盘和9个交换托盘，每个计算托盘上有2个GB200芯片，这提升了计算性能和网络交互性能。此外，它还配备了不同的网卡、交换机等材料，整机柜售价可能达到百万美金及以上。

NVL72整机柜的出货对于整个价值链的影响是什么？

NVL72整机柜的出货有望重塑价值链，提升机柜、铜缆、液冷和HBM的市场占比，尤其是GB200每个GPU的价值量提升了大约1.2万美金，这些都将注入到服务器ODM厂商的毛利中，相比H100，其毛利状况呈现翻倍增长。

NVL72整机柜的性能提升主要体现在哪些方面？

在AI训练方面，NVL72整机柜在MOE 1.8T大语言模型上的训练能力相比H100提升了四倍左右；在推理性能上，密集型应用程序的推理速度提升了30倍，并且通过引入FP4精度以及第五代NV link技术，实现了约30倍以上的实时吞吐量提升。

NVL36整机柜与NVL72相比有何不同？NVL系列的其他变体及其面向的客户需求有何特点？

NVL36整机柜采用两台服务器堆叠的方式，虽然拥有类似甚至更高的计算性能，但由于堆叠导致的交换单元增加了一倍，从而带来承重和功率功耗的提升。与NVL72相比，NVL36乘2系统的功耗大约多了十千瓦左右。另一种变体是NVL36乘2的1个arial系列，采用更均衡的CPU和GPU比重，主要针对需要更高CPU内核和更多每GPU内存比重的客户，如Meta。此外，还有基于86架构的NVL72或NVL36变体，预计将在25年第二季度推出，采用非英伟达Grace CPU的架构。

NVL系列的组装过程及其涉及的公司有哪些？

芯片首先放在computer tree和switch tree上，由本土和台湾公司如红海、伟创等参与组装。然后交付给英伟达，根据MGX和DJX的不同情况，MGX的系统由ODM厂商组装并销售给Meta、谷歌、AWS、微软等客户，而DJX系列则由英伟达贴牌售卖。

随着B200架构的发展，单颗GPU HBM的数量和单价有何变化？

随着从H架构过渡到B架构，单颗GPU采用的HBM数量和单价都呈现出提升的趋势。例如，H100采用5颗HBM3，而blackwell ultra预期会采用8颗HBM3E，每GPUHBM花费将多了3000美金左右，相较于H100提升了三倍以上。

B200NVLC72采用的NV link对铜缆连接市场有何影响？

B200NVLC72采用的NV link铜缆连接将进一步促使铜缆连接市场不断扩大。此外，B200GPU高达2700瓦的功耗将超过风冷散热上限，推动液冷组件散热量持续提升，相比H系列，每GPU组件的成本提升了大约三倍左右。

在2024年，哪种铜缆在200G交换速率市场中的表现预期会比较出色？

根据第三方数据，预计2024年发货的200G thirty五元铜缆将表现得比较出色，并且会提升DAC在200G交换速率市场中的渗透率，同时减少电力消耗，产生最小化功耗的优势。

当前DAC市场的竞争格局如何？对于铜连接和DAC市场的增长趋势有何看法？

恩菲诺在DAC市场占据市占率第一的位置，集中度较高，全球前十强厂商占据了大约69%的市场份额，其中前三名分别为恩菲诺、莫什以及TE。预计英伟达将通过在多地部署DAC，持续提升同类市场的竞争力，并实现功耗最小化的优势。

NVL72中铜缆的应用情况如何？

NVL72中采用了5000根以上的铜缆，每个机架内有9个NV link交换机，为72个GPU中的每一个提供约1.8TB的双向带宽。英伟达选择使用安菲诺的ultra pass帕拉丁背板产品作为NV link背板互联的主要来源，并使用其连接器来连接每个GPU。

HBM市场的主要参与者和趋势是什么？英伟达在HBM市场中的采购情况如何？

HBM3E预计下半年将持续批量出货，成为市场的主流，海力士是主要供应商，随着运算效能提升，HBM4的层数可能会拓展至16层，预计在2027年推出。三星和美光也在计划在2026年量产HBM4。截至2024年底，HBM3E和HBM4的产能占比预计将从8.4%扩大到20%，表明HBM市场正在增长。预计到2025年，随着黑威尔全面放量，英伟达在HBM市场的采购比重可能达到70%以上，HBM3E的消耗量可能会达到85%及以上，成为高端HBM产品的最大买家。

液冷方向的发展情况如何？

冷板式液冷技术相对成熟，200ML72采用的液冷方案将助推液冷市场的不断放量。电子设备散热需求的提升推动了散热技术的持续进步，包括台湾厂商在内的多家公司在推出新的散热产品，如热管VC3DVC液冷板等，以应对单个芯片1000瓦以上的广泛散热需求。

GB200新一代算力架构推出后，对哪些细分方向产生了影响？

GB200新一代算力架构的推出预计将对包括芯片服务器、同连接、HBM、液冷等五个细分方向产生积极影响，并有望持续受益。具体涉及到的相关公司名单已给出，并建议投资者关注并持续看好算力赛道。纪要私享圈