大摩数字经济混合基金经理雷志勇谈英伟达GTC大会，更高规格的互联芯片、光模块、液冷重点关注

　　3月19日凌晨，英伟达创始人黄仁勋在美国加州圣何塞SAP中心，发表了GTC 2024的主题演讲《见证AI的变革时刻》。发布会上介绍了新一代AI芯片架构BlackWell架构平台，搭载B200的GB200芯片，搭配第二代Transformer模型和第五代Nvlink，推出Nvidia Inference Microservice帮助开发者快捷部署AI模型。GB 200 NVL72推理性能更强，预计主要针对万亿参数大模型、推理端大客户（匹配推理需求目前占比将逐步超过训练系统）。

　　回顾过去8年，英伟达AI芯片性能从2016年发布的DGX-1以来提升了10倍。而未来10年会远超过去10年的性能提升速度，黄仁勋曾在3月斯坦福商学院SIEPR经济峰会以及View From The Top 系列活动提到在未来的10年里，英伟达将会把深度学习的计算能力再提高100万倍，相当于内每6个月性能提升1倍。英伟达加快加速芯片架构的迭代，从Hopper架构开始销售到Blackwell架构发布不到1年时间，Blackwell架构芯片在训练性能提升4X以上，推理30X，有机会让人工智能Scaling law不断推进。随着英伟达AI GPU芯片的每一次迭代，不仅性能、性价比会提升，而且对能源的消耗也会减少。发布会上黄仁勋举例，如果要训练一个1.8万亿参数量的GPT模型，需要8000张Hopper GPU，消耗15兆瓦的电力，连续跑上90天。但如果使用Blackwell GPU，只需要2000张，同样跑90天只要消耗四分之一的电力。当然不只是训练，生成Token的成本也会随之降低。单GPU每秒Token吞吐量翻了30倍。

　　Blackwell以美国数学家和博弈论学家 David Blackwell命名，继承了 Hopper GPU 架构，拥有2080亿个晶体管，是英伟达首个采用多芯片封装设计的 GPU，在同一个芯片上集成了两个GPU。集群层面这次性能的提升主要通过更大的芯片面积和NVLINK升级实现。典型的1个Blackwell GPU（B100）由2个DIE组成，采用台积电N4P（4nm）工艺，192GB HBM3e，单个die 1040亿晶体管、4nm工艺、10TB/s interface速率，通过C2C方案连接打破内存限制。单卡训练性能是Hopper 2.5倍，推理（Generation）是Hopper架构的30倍。

　　英伟达同时发布GB200 Superpod：1个Grace CPU加上2个Blackwell GPU以及800G Infiniband Supernic和Bluefield-3 DPU。GB200 NVL72服务器由36个GB200以及36个NVLink Switch构成，功耗为120kw，需要标配液冷。技术上看更高速率和规格的互联芯片、更高速率的光模块、液冷都将持续成为渗透率提升的主要方向，也是值得重点关注的方向。