英伟达GTC大会点评
1、Nvidia发布新一代Blackwell架构
1)Blackwell架构GPU包含2080亿个晶体管,采用定制4 NP
台积电工艺制造,适用192GB HBM3e内存,可以支持多大10万亿参数的AI模型;
2)单一GPU 20petaFLOPS(FP4)、10peta FLOPS(FP8)AI性能表现,4倍训练性能、30倍推理性能、25倍能耗表现提升。(之前训练GPT-4,需要90天,8000张Hopper GPU,15兆瓦功耗;现在训来呢GPT-4,在相同时间下,仅需要2000张Blackwell GPU,功耗仅4兆瓦)
3)第二代Transformer引擎,Blackwell支持4位浮点AI推理能力;
4)第五代NVlink,为每个GPU提供了突破性的1.8TB/s双向吞吐量,确保多达576个GPU之间无缝高速通信;
5)引入RAS引擎,利用给予
人工智能的预防性维护来运行诊断和预测可靠性问题,最大限度延长系统正常运行时间;
6)安全的人工智能,在不影响性能情况下保护AI模型和客户数据,并支持新的本机接口加密协议,对医疗、金融等领域至关重要;
2、Nvidia发布GB200超级芯片
1)架构:将两个B200 Blackwell GPU连接到一个Grace GPU;
2)价格:目前没有透露;
3)上市时间:24年;
4)客户:
亚马逊、戴尔、谷歌、meta、
微软、OpenAI和
特斯拉等客户计划实用Blackwell GPU。
3、Nvidia发布NVIDIA GB200 NVL72液冷机架系统
1)NVIDIA GB200 NVL72是一种多节点、液冷、机架规模系统,适用于计算最密集的工作负载;
2)36个Blackwell超级芯片,包括72个Blackwell GPU和36个Grace CPU;
3)与相同数量NVIDIA H100 Tensor Core GPU相比,GB200 NVL72对于LLM推理工作负载性能提升高达30倍,并将成本和能耗降低高达25倍。
4)该平台充当单个GPU,具有1.4 exaflops的AI性能和30TB的内存。
4、Nvidia将数字建模技术引入
苹果Vision Pro
1)Nvidia展示了一个完全交互的汽车模型,并将该模型传输到苹果Vision Pro中;
2)苹果Vision Pro的高分辨率同Nvidia的加速计算流式传输的OpenUSD相结合,为推进沉浸式体验带来了绝佳的机会。
5、Nvidia推出用于人形
机器人的AI模型
1)Nvidia正致力于将AI机器人变为现实;
2)Nvidia宣布了Project GROOT Foundation人形机器人基础模型,由GROOT驱动的机器人将被设计为可以理解人类语言,且可以通过观察模仿人类运动;
3)发布给予NVIDIA Thor片上系统的人形机器人新型计算机Jetson Thor(基于Blackwell架构,提供800 teraflops fp8算力),对NVIDIA Issac机器人平台重大升级。