正如黄仁勋喜欢说的那样,摩尔定律已死——在本月的英伟达GTC大会上,这位GPU巨头的首席执行官透露了计算扩展法则究竟有多么不再适用。
站在舞台上,黄仁勋不仅展示了芯片设计公司的下一代BlackwellUltra处理器,还透露了关于未来两代加速计算平台的惊人细节,包括一个配备576个GPU的600kW机架规模系统。我们还了解到,一个计划于2028年推出的GPU家族将以理查德·费曼命名。你肯定是在开玩笑吧!
芯片制造商偶尔会透露他们的路线图,这并不罕见,但我们通常不会一次性获得这么多信息。这是因为英伟达遇到了不止一个,而是多个障碍。更糟糕的是,除了投入资金解决问题之外,这些问题大多不在英伟达的控制范围内。
对于那些关注这一领域的人来说,这些挑战并不令人意外。分布式计算一直是一场瓶颈打地鼠的游戏,而AI可能正是终极的地鼠狩猎。
从这里开始,所有的一切都在向上和向外扩展
这些挑战中最明显的一个围绕着计算扩展。
近年来,工艺技术的进步几乎停滞不前。虽然仍有一些调整空间,但它们变得越来越难以推动。
面对这些限制,英伟达的策略很简单:尽可能扩大每个计算节点中的硅含量。如今,英伟达最密集的系统,或实际上是机架,通过其高速1.8TB/sNVLink结构将72个GPU集成到一个计算域中。然后使用InfiniBand或以太网将八个或更多这样的机架连接在一起,以实现所需的计算和内存容量。
在GTC大会上,英伟达透露了将这一数字提升至每个机架144个,最终达到576个GPU的计划。然而,扩展不仅限于机架;它也发生在芯片封装上。
这一点在一年前推出的英伟达Blackwell加速器中变得显而易见。这些芯片的性能提升是Hopper的5倍,这听起来很棒,直到你意识到它需要两倍的芯片数量、新的4位数据类型和多消耗500瓦的功率才能实现。
实际上,标准化到FP16时,英伟达规格最高的Blackwell芯片的速度仅比GH100快约1.25倍,达到1,250密集teraFLOPS,而GH100为989——只是它们恰好有两个。
到2027年,英伟达CEO黄仁勋预计随着RubinUltraNVL576的推出,机架功率将飙升至600kW。
我们尚不知道英伟达计划为其下一代芯片使用什么工艺技术,但我们知道RubinUltra将继续这一趋势,从两个光罩限制的芯片跳到四个。即使从TSMC2nm中获得大约20%的效率提升,黄仁勋预计这仍将是一个非常热的封装。
不仅仅是计算,还有内存。眼尖的读者可能已经注意到Rubin到RubinUltra之间容量和带宽的显著提升——每个封装从288GB增加到1TB。大约一半来自更快、更高容量的内存模块,而另一半来自将用于内存的硅量从Blackwell和Rubin的八个模块增加到RubinUltra的16个模块。
更高的容量意味着英伟达可以在单个封装中塞入更多的模型参数,大约2万亿个FP4参数,或者每个“GPU”5000亿个,因为他们现在计算的是单个芯片而不是插槽。HBM4e也有望有效地将内存带宽翻倍,相比HBM3e。带宽预计将从今天每个Blackwell芯片约4TB/s跃升至RubinUltra的约8TB/s。
不幸的是,除非工艺技术有重大突破,否则未来英伟达GPU封装可能会塞入更多的硅。
好消息是,工艺进步并不是扩展计算或内存的唯一途径。一般来说,从16位降到8位精度可以有效地将吞吐量翻倍,同时将给定模型的内存需求减半。问题是英伟达在减少位数以提升性能增益方面已经几乎没有空间了。从Hopper到Blackwell,英伟达减少了四位,翻倍了硅含量,并声称获得了5倍的浮点增益。
但在低于四位精度时,大语言模型推理变得相当困难,困惑度得分迅速上升。也就是说,围绕超低精度量化(低至1.58位)保持准确性的一些有趣研究正在进行中。
减少精度并不是获得FLOPS的唯一方法。你还可以减少分配给AI工作负载不需要的高精度数据类型的芯片面积。
我们在BlackwellUltra上看到了这一点。英伟达加速计算业务部门副总裁IanBuck在接受采访时告诉我们,他们实际上削弱了芯片的双精度(FP64)张量核心性能,以换取50%更多的4位FLOPS。
这是否意味着FP64在英伟达即将消失还有待观察,但如果你真的关心双精度性能,AMD的GPU和APU可能应该是你的首选。
无论如何,英伟达的前进道路是明确的:其计算平台只会变得更大、更密集、更热和更耗电。正如黄仁勋在上周的新闻发布会上所说的那样,机架的实际限制是你能提供多少电力。
“一个数据中心现在是250兆瓦。这是每个机架的限制。我认为其余的只是细节,”黄仁勋说。“如果你说一个数据中心是一个千兆瓦,我会说每个机架一个千兆瓦听起来是个不错的限制。”
无法逃避的电力问题
显然,600kW的机架对数据中心运营商来说是一个巨大的难题。
需要明确的是,冷却兆瓦级超密集计算并不是一个新问题。Cray、Eviden和联想的人们多年来已经解决了这个问题。变化的是,我们现在讨论的不是一年中少数几个精品计算集群,而是几十个集群,其中一些大到足以取代Top500中最强大的超级计算机,如果将200,000个HopperGPU用于Linpack可以赚钱的话。
在这些规模下,高度专业化、低产量的热管理和电力传输系统根本无法满足需求。不幸的是,数据中心供应商——也就是那些销售让这些价值数百万美元的NVL72机架正常工作的不那么性感的零部件的人——现在才赶上需求。
我们怀疑这就是为什么到目前为止宣布的许多Blackwell部署都是用于空气冷却的HGXB200,而不是黄仁勋一直在宣传的NVL72。这些八GPUHGX系统可以在许多现有的H100环境中部署。英伟达多年来一直在做30-40kW的机架,因此跳到60kW并不是那么大的飞跃,即使是这样,降到每个机架两到三台服务器仍然是一个选择。
这就是黄仁勋一直在谈论的“AI工厂”的用武之地
NVL72是一种受超大规模数据中心启发的机架规模设计,具有直流母线、电源滑轨和前置网络。在120kW的液冷计算下,在现有设施中部署多个这样的系统很快就会变得困难。而且一旦英伟达的600kW怪物机架在2027年底亮相,这只会变得更加困难。
这就是黄仁勋一直在谈论的“AI工厂”的用武之地——与SchneiderElectric等合作伙伴合作设计的专用数据中心,以应对AI的电力和热量需求。
令人惊讶的是,在详细介绍其未来三年的GPU路线图一周后,施耐德宣布在美国进行7亿美元的扩张,以提高支持这些系统所需的所有电力和冷却设备的生产。
当然,拥有为这些超密集系统供电和冷却所需的基础设施并不是唯一的问题。首先将电力输送到数据中心也是一个问题,而这再次大多不在英伟达的控制范围内。
每当Meta、Oracle、Microsoft或其他公司宣布另一个AI数据中心时,通常会伴随着一份丰厚的电力购买协议。Meta在海湾地区的新数据中心是与一个2.2GW的燃气发电厂一起宣布的——可持续性和碳中和承诺就这样被抛诸脑后。
尽管我们希望核能能够卷土重来,但当即使是最乐观的预测也将部署时间定在2030年代时,很难认真对待小型模块化反应堆。
跟随领导者
需要明确的是,这些障碍并不是英伟达独有的。AMD、Intel和其他每一个争夺英伟达市场份额的云提供商和芯片设计公司都将很快面临这些相同的挑战。英伟达只是恰好是第一个遇到这些挑战的公司之一。
虽然这肯定有其不利之处,但它也使英伟达在塑造未来数据中心电力和热量设计方向方面处于一个相对独特的位置。
正如我们之前提到的,黄仁勋愿意透露其未来三代GPU技术并暗示其第四代的原因是为了让其基础设施合作伙伴在它们最终到来时做好准备。
“我之所以向世界传达英伟达未来三、四年的路线图,是因为现在其他人都可以计划了,”黄仁勋说。
另一方面,这些努力也为竞争对手芯片制造商扫清了道路。如果英伟达设计了一个120kW,或者现在是600kW的机架,并且托管服务提供商和云运营商愿意支持这一点,那么AMD或Intel现在就可以放心地在他们自己的机架规模平台中塞入同样多的计算能力,而不必担心客户会把它们放在哪里。
海量资讯、精准解读,尽在新浪财经APP 编辑: 来源:
