英伟达连甩20枚AI核弹！800亿晶体管GPU、144核CPU来了

英伟达创始人兼CEO黄仁勋依然穿着皮衣，不过这次他没有出现在几乎已成GTC大会“标配”的厨房场景中，而是在一个更具科幻感的虚拟空间。

延续以往风格，黄仁勋在主题演讲中继续秒天秒地秒空气，公布多个“全球首款”。这次他带来一系列堪称“地表最强”的AI重磅新品，随便一个精度的AI性能，都比上一代A100高出3~6倍。

虽然英伟达并购ARM的计划刚刚告吹，但它的数据中心“三芯”总路线（GPU+DPU+CPU）依然不动摇――继去年推出其首款数据中心CPU后，今天，英伟达又亮出一款基于ARM架构的GRACE CPU超级芯片。

此外，黄仁勋再次派出自己的虚拟数字人化身“玩偶老黄”TOY JENSEN，并跟这个表情生动的玩偶进行了一番流畅的实时问答对话。

凭借押中图形处理和人工智能（AI）两大赛道，英伟达已经成为全球半导体市值TOP1。截至文章发布时间，英伟达的市值超过6600亿美元，比第二名台积电足足多了近1100亿美元。

3、融合加速器H100 CNX：耦合H100 GPU与CONNECTX-7和以太网智能网卡，可为I/O密集型应用提供更强劲的性能。

4、DGX H100：配备8块H100 GPU，总计有6400亿个晶体管，在全新的FP8精度下AI性能比上一代高6倍，可提供900GB/S的带宽。

7、GRACE CPU超级芯片：由两个CPU芯片组成，采用最新ARMV9架构，拥有144个CPU核心和1TB/S的内存带宽，将于2023年上半年供货。

8、为定制芯片集成开放NVLINK：采用先进封装技术，与英伟达芯片上的PCIE GEN 5相比，能源效率高25倍，面积效率高90倍。英伟达还将支持通用小芯片互连传输通道UCIE标准。

9、CUDA-X：60多个针对CUDA-X的一系列库、工具和技术的更新。

11、MERLIN 1.0：可帮助企业快速构建、部署和扩展先进的AI推荐系统。

13、OVX与OVX SUPERPOD：面向工业数字孪生的数据中心级服务器和超级集群。

16、DRIVE HYPERION 9：汽车参考设计，拥有14个摄像头、9个雷达、3个激光雷达和20个超声传感器，总体传感器数量是上一代的两倍。

18、CLARA HOLOSCANMGX：可供医疗设备行业在边缘开发和部署实时AI应用的计算平台，AI算力可达每秒254~610万亿次运算。

黄仁勋还介绍了英伟达创建的NVIDIA AI加速计划，通过与AI生态系统中的开发者合作，开发工程化解决方案，以确保客户放心部署。

每次英伟达的GPU新架构都会以一位科学家的名字来命名，这次同样如此。

新HOPPER架构的命名取自美国计算机科学家格蕾丝・赫柏（GRACE HOPPER），她是耶鲁大学第一位数学女博士、世界上第三位程序员、全球首个编译器的发明者，也是第一个发现“BUG”的人。

1945年9月9日，格蕾丝使用的MARK Ⅱ机出现故障，经过近一天的排查，她找到了故障的原因：继电器中有一只死掉的蛾子。后来，“BUG”（小虫）和“DEBUG”（除虫）这两个词汇就作为计算机领域的专用词汇流传至今。

基于HOPPER架构的一系列AI计算新品，被冠上各种“全球首款”。按行业惯例，但凡比较AI算力，必会拿英伟达最新旗舰GPU作为衡量标准。

英伟达也不例外，先“碾压”一下自己两年前发布的上一代A100 GPU。

作为全球首款基于HOPPER架构的GPU，英伟达 H100接过为加速AI和高性能计算（HPC）扛旗的重任，FP64、TF32、FP16精度下AI性能都达到A100的3倍。

可以看到，NVIDIA越来越热衷于走稀疏化路线。过去六年，英伟达相继研发了使用FP32、FP16进行训练的技术。此次H100的性能介绍又出现了新的TENSOR处理格式FP8，而FP8精度下的AI性能可达到4PFLOPS，约为A100 FP16的6倍。

1）先进芯片：H100采用台积电4N工艺、台积电COWOS 2.5D封装，有800亿个晶体管（A100有540亿个晶体管），搭载了HBM3显存，可实现近5TB/S的外部互联带宽。

H100是首款支持PCIE 5.0的GPU，也是首款采用HBM3标准的GPU，单个H100可支持40TB/S的IO带宽，实现3TB/S的显存带宽。黄仁勋说，20块H100 GPU便可承托相当于全球互联网的流量。

2）新TRANSFORMER引擎：该引擎将新的TENSOR CORE与能使用FP8和FP16数字格式的软件结合，动态处理TRANSFORMER网络的各个层，在不影响准确性的情况下，可将TRANSFORMER模型的训练时间从数周缩短至几天。

3）第二代安全多实例GPU：MIG技术支持将单个GPU分为7个更小且完全独立的实例，以处理不同类型的作业，为每个GPU实例提供安全的多租户配置。H100能托管7个云租户，而A100仅能托管1个，也就是将MIG的部分能力扩展了7倍。每个H100实例的性能相当于两个完整的英伟达云推理T4 GPU。

4）机密计算：H100是全球首款具有机密计算功能的GPU加速器，能保护AI模型和正在处理的客户数据，可以应用在医疗健康和金融服务等隐私敏感型行业的联邦学习，以及共享云基础设施。

5）第4代英伟达NVLINK：为了加速大型AI模型，NVLINK结合全新外接NVLINK SWITCH，可将NVLINK扩展为服务器间的互联网络，最多连接多达256个H100 GPU，相较于上一代采用英伟达 HDR QUANTUM INFINIBAND网络，带宽高出9倍。

6）DPX指令：HOPPER引入了一组名为DPX的新指令集，DPX可加速动态编程算法，解决路径优化、基因组学等算法优化问题，与CPU和上一代GPU相比，其速度提升分别可达40倍和7倍。

比如，用H100支持聊天机器人使用的MONOLITHIC TRANSFORMER语言模型MEGATRON 530B，吞吐量比上一代产品高出30倍，同时能满足实时对话式AI所需的次秒级延迟。

再比如用H100训练包含3950亿个参数的混合专家模型，训练速度可加速高达9倍，训练时间从几周缩短到几天。

其中H100SXM提供4 GPU和8 GPU配置的HGX H100服务器主板；H100 PCIE通过NVLINK连接两块GPU，相较PCIE 5.0可提供7倍以上的带宽。PCIE规格便于集成到现有的数据中心基础设施中。

这两种规格的电力需求都大幅增长。H100 SXM版的散热设计功耗（TDP）达到700W，比A100的400W高出75%。据黄仁勋介绍，H100采用风冷和液冷设计。

为了将HOPPER的强大算力引入主流服务器，英伟达推出了全新的融合加速器H100 CNX。它将网络与GPU直接相连，耦合H100 GPU与英伟达CONNECTX-7 400GB/S INFINIBAND和以太网智能网卡，使网络数据通过DMA以50GB/S的速度直接传输到H100，能够避免带宽瓶颈，为I/O密集型应用提供更强劲的性能。

黄仁勋称，在财富10强企业和100强企业中，分别有8家和44家企业使用DGX作为AI基础架构。

英伟达DGX系统现在包含英伟达AI ENTERPRISE软件套件，该套件新增了对裸金属基础设施的支持。DGX客户可使用软件套件中的预训练AI平台模型、工具包和框架来加快工作速度。

每个DGX H100系统配备8块H100 GPU，总计有6400亿个晶体管，由NVLINK连接，在全新的FP8精度下AI性能可达32PETAFLOPS，比上一代系统性能高6倍。

DGX H100系统中每块GPU都通过第四代 NVLINK连接，可提供900GB/S的带宽，是上一代系统的1.5倍。DGX H100的显存带宽可达24TB/S。

该系统支持双X86 CPU，每个系统还包含2个英伟达BLUEFIELD-3 DPU，用于卸载、加速和隔离高级网络、存储及安全服务。

8个英伟达CONNECTX-7 QUANTUM-2 INFINIBAND网卡能够提供400GB/S的吞吐量，可用于连接计算和存储，这一速度比上一代系统提升了1倍。

DGX H100系统是新一代英伟达DGX POD和DGX SUPERPOD超级计算机的构建模块。

借助NVLINK SWITCH系统，拥有32个节点、256个GPU的DGX POD，其HBM3显存达20.5TB，显存带宽高达768TB/S。

“相比之下，整个互联网不过只有100TB/S。”黄仁勋感慨道。每个DGX都可借助4端口光学收发器连接到NVLINK SWITCH，每个端口都有8个100G-PAM4通道，每秒能够传输100GB，32个NVLINK收发器连接到1个机架单元的NVLINK SWITCH系统。

新一代DGX SUPERPOD可提供1EXAFLOPS的FP8 AI性能，比上一代产品性能高6倍，能够运行具有数万亿参数的大型语言模型工作负载；还有20TB的HBM3显存、192TFLOPS的SHARP网络计算性能。

通过采用QUANTUM-2 INFINIBAND连接及NVLINK SWITCH系统，新DGX SUPERPOD架构在GPU之间移动数据的带宽高达70TB/S，比上一代高11倍。

此外，英伟达推出新的DGX-READY托管服务计划，以助力简化AI部署。其DGX FOUNDRY托管的开发解决方案正在全球扩展，北美、欧洲和亚洲的新增地点支持远程访问DGX SUPERPOD。

黄仁勋还透露说，英伟达正在打造EOS超级计算机，并称这是“首个HOPPER AI工厂”，将于数月后推出。

该超算包含18个DGX POD、576台DGX H100系统，共计4608块DGX H100 GPU，预计将提供18.4EXAFLOPS的AI算力，这比目前运行速度最快的日本富岳（FUGAKU）超级计算机快4倍。在传统科学计算方面，EOS预计可提供275PETAFLOPS的性能。

除了GPU外，英伟达数据中心“三芯”战略中另一大支柱CPU也有新进展。

今日，英伟达推出首款面向HPC和AI基础设施的基于ARM NEOVERSE的数据中心专属CPU――GRACE CPU超级芯片。

这被黄仁勋称作“AI工厂的理想CPU”。

据介绍，GRACE HOPPER超级芯片模组能在CPU与GPU之间进行芯片间的直接连接，其关键驱动技术是内存一致性芯片之间的NVLINK互连，每个链路的速度达到900GB/S。

GRACE CPU超级芯片也可以是由两个CPU芯片组成。它们之间通过高速、低延迟的芯片到芯片互连技术NVLINK-C2C连在一起。

它基于最新的ARMV9架构，单个SOCKET拥有144个CPU核心，具备最高的单线程核心性能，支持ARM新一代矢量扩展。

在SPECRATE2017_INT_BASE基准测试中，GRACE CPU超级芯片的模拟性能得分为740，据英伟达实验室使用同类编译器估算，这一结果相比当前DGX A100搭载的双CPU高1.5倍以上。

此外，GRACE CPU超级芯片可实现当今领先服务器芯片内存带宽和能效的2倍。

其依托带有纠错码的LPDDR5X内存组成的创新的内存子系统，能实现速度和功耗的最佳平衡。LPDDR5X内存子系统提供两倍于传统DDR5设计的带宽，可达到1TB/S，同时功耗也大幅降低，CPU加内存整体功耗仅500瓦。

GRACE CPU超级芯片可运行所有的英伟达计算软件栈，结合英伟达CONNECTX-7网卡，能够灵活地配置到服务器中，或作为独立的纯CPU系统，或作为GPU加速服务器，可以搭配1块、2块、4块或8块基于HOPPER的GPU。

前面说的GRACE CPU超级芯片系列、去年发布的GRACE HOPPER超级芯片都采用了这一技术来连接处理器芯片。

NVIDIA超大规模计算副总裁IAN BUCK认为：“为应对摩尔定律发展趋缓的局面，必须开发小芯片和异构计算。”

因此，英伟达利用其在高速互连方面的专业知识开发出统一、开放的NVLINK-C2C互连技术。

该技术将支持定制裸片与英伟达GPU、CPU、DPU、NIC和SOC之间实现一致的互连，从而通过小芯片构建出新型的集成产品，助力数据中心打造新一代的系统级集成。

NVLINK-C2C现已为半定制芯片开放，支持其与NVIDIA技术的集成。

通过采用先进的封装技术，英伟达NVLINK-C2C互连链路的能效最多可比NVIDIA芯片上的PCIE GEN 5高出25倍，面积效率高出90倍，可实现每秒900GB乃至更高的一致互联带宽。

NVLINK-C2C支持ARM AMBA一致性集线器接口（AMBA CHI）协议，或CXL工业标准协议，可实现设备间的互操作性。当前英伟达和ARM正在密切合作，以强化AMBA CHI来支持与其他互连处理器完全一致且安全的加速器。

NVIDIA NVLINK-C2C依托于英伟达的SERDES和LINK设计技术，可从PCB级集成和多芯片模组扩展到硅插入器和晶圆级连接。这可提供极高的带宽，同时优化能效和裸片面积效率。

除NVLINK-C2C之外，NVIDIA还将支持本月早些时候发布的通用小芯片互连传输通道UCIE标准。

与NVIDIA芯片的定制芯片集成既可以使用UCIE 标准，也可以使用NVLINK-C2C，而后者经过优化，延迟更低、带宽更高、能效更高。

如今英伟达已经能提供全栈AI，除了AI计算硬件外，其AI软件也有不少进展。

黄仁勋说，AI已经从根本上改变了软件的能力以及开发软件的方式，过去十年，英伟达加速计算在AI领域实现了百万倍的加速。

今日，英伟达发布了60多个针对CUDA-X的一系列库、工具和技术的更新，以加速量子计算和6G研究、网络安全、基因组学、药物研发等领域的研究进展。

英伟达将使用其首台AI数字孪生超级计算机EARTH-2来应对气候变化挑战，并创建了PHYSICS-ML模型来模拟全球天气模式的动态变化。

英伟达还与来自加州理工学院、伯克利实验室等高校及科研机构的研究人员们开发了一个天气预报AI模型FOURCASTNET，该模型基于10TB的地球系统数据进行训练，首次在降水预测上达到比先进的数值模型更高的准确率，并使预测速度提高了4~5个数量级。以前，传统的数值模拟需要一年时间，而现在只需几分钟。

NVIDIA TRITON是一款开源的、超大规模的模型推理服务器，是AI部署的“中央车站”，它支持CNN、RNN、GNN、TRANSFORMER等各种模型、各类AI框架及各类机器学习平台，支持在云、本地、边缘或嵌入式设备运行。

同时，黄仁勋宣布英伟达对话式AI服务RIVA全面发行，RIVA 2.0版本支持识别7种语言，可将神经文本转换为不同性别发声的语音，用户可通过其TAO迁移学习工具包进行自定义调优。

MAXINE是一个AI模型工具包，现已拥有30个先进模型，可优化实时视频通信的视听效果。比如开远程视频会议时，MAXINE可实现说话者与所有参会者保持眼神交流，并能将说的语言实时切换成另一种语言，而且音色听起来不变。

本次GTC发布的版本增加了用于回声消除和音频超分辨率的新模型。

此外，黄仁勋也宣布推出英伟达面向推荐系统的AI框架MERLIN的1.0版本。

MERLIN可帮助企业快速构建、部署和扩展先进的AI推荐系统。比如，微信用MERLIN将短视频推荐延迟缩短为原来的1/4，并将吞吐量提升了10倍。从CPU迁移至GPU，腾讯在该业务上的成本减少了1/2。

在医疗健康领域，黄仁勋谈道，过去几年，AI药研初创公司获得了超400亿美元的投资，数字生物学革命的条件已经成熟，他称这将是“NVIDIA AI迄今为止最伟大的使命”。

6G标准于2026年左右问世，一些相关基础技术逐渐成形。对此，黄仁勋宣布推出了一款用于6G通信研究的AI框架SIONNA。

黄仁勋认为，第一波AI学习是感知和推理，下一波AI的发展方向是机器人，也就是使用AI规划行动。英伟达OMNIVERSE平台也正成为制造机器人软件时必不可少的工具。

作为虚拟世界的仿真引擎，OMNIVERSE平台能遵循物理学定律，构建一个趋真的数字世界，可以应用于使用不同工具的设计师之间的远程协作，以及工业数字孪生。

黄仁勋认为，工业数字孪生需要一种专门构建的新型计算机，因此英伟达打造了面向工业数字孪生的OVX服务器和OVX SUPERPOD超级集群。

OVX是首款OMNIVERSE计算系统，由8个英伟达A40 RTX GPU、3个CONNECTX-6 200GBPS网卡（NIC）和2个英特尔至强ICE LAKE CPU组成。

32台OVX服务器可构成OVX SUPERPOD超级集群，实现这一连接的关键设施是英伟达今日新推出的SPECTRUM-4以太网平台。

据悉，这是全球首个400GBPS端到端网络平台，其交换吞吐量比前几代产品高出4倍，聚合ASIC带宽达到51.2TBPS，支持128个400GBE端口。

SPECTRUM-4实现了纳秒级计时精度，相比典型数据中心毫秒级抖动提升了5~6个数量级。这款交换机还能加速、简化和保护网络架构。与上一代产品相比，其每个端口的带宽提高了2倍，交换机数量减少到1/4，功耗降低了40%。

该平台由英伟达SPECTRUM-4交换机系列、CONNECTX-7智能网卡、BLUEFIELD-3DPU和DOCA数据中心基础设施软件组成，可提高AI应用、数字孪生和云基础架构的性能和可扩展性，大幅加速大规模云原生应用。

SPECTRUM-4 ASIC和SN5000交换机系列基于4NM工艺，有1000亿个晶体管，并经过简化的收发器设计，实现领先的能效和总拥有成本。

SPECTRUM-4可在所有端口之间公平分配带宽，支持自适应路由选择和增强拥塞控制机制，能显著提升数据中心的应用速度。

SPECTRUM-4 ASIC具有12.8TBP加密带宽和领先的安全功能，例如支持MACSEC和VXLANSEC，并通过硬件信任根将安全启动作为默认设置，帮助确保数据流和网络管理的安全性和完整性。

现在各大计算机制造商纷纷推出OVX服务器，对于想在OVX试用OMNIVERSE的客户，英伟达在全球多地提供LAUNCHPAD计划，第一代OVX正由英伟达和早期客户运行，第二代OVX正被构建中。SPECTRUM-4的样机将在今年第四季度末发布。

随后，曾在往届GTC大会展示过的黄仁勋虚拟化身“玩偶老黄”TOY JENSEN再度现身。

它不是录像，而能做到完全实时地进行眼神交流与对话。黄仁勋现场问它“什么是合成生物学”、“你是如何制作出来的”等问题，它都对答如流。

使用英伟达OMNIVERSE AVATAR框架，企业就能快速构建和部署像TOY JENSEN这样的虚拟形象，从模仿声音到细微的头部及身体运动，乃至高保真度的形象塑造，都让虚拟人更加灵动。

最后，得益于RIVA中的最新对话式AI技术和超大语言模型MEGATRON 530B NLP，虚拟人可以听懂你问的问题，也能跟你实时聊天互动。

在此基础上，英伟达宣布将推出OMNIVERSE CLOUD。通过OMNIVERSE CLOUD连接，协作者们使用英伟达RTX PC、笔记本电脑和工作站，均可实现远程实时协同工作。

用户如果没有RTX计算机，只需点击一下，即可从GEFORCE NOW上启动OMNIVERSE。

OMNIVERSE平台是整个工作流程的核心，DRIVE平台则相当于AI司机。

黄仁勋宣布下一代DRIVE HYPERION 9将从2026年起搭载到汽车中，它将拥有14个摄像头、9个雷达、3个激光雷达和20个超声传感器，总体传感器数量将是HYPERION 8的两倍。

此外，英伟达推出了一种多模态地图引擎NVIDIA DRIVE MAP，包含摄像头、激光雷达和雷达的数据，同时兼顾安全性。

DRIVE MAP有两个地图引擎，真值测绘地图引擎和众包车队地图引擎。黄仁勋谈道，到2024年，他们预计绘制并创建北美、西欧和亚洲所有主要公路的数字孪生，总长度约为50万公里。

合作方面，全球第二大电动汽车制造商比亚迪将在2023年上半年开始投产的汽车中搭载DRIVE ORIN计算平台。自动驾驶独角兽企业元戎启行、中国自动驾驶创企云骥智行也宣布将在其L4级自动驾驶车规级量产方案中搭载NVIDIA DRIVE ORIN SOC芯片。

黄仁勋认为下一波AI浪潮是机器人，英伟达正在构建多个机器人平台，包括用于自动驾驶汽车的DRIVE、用于操纵和控制系统的ISAAC、用于自主式基础架构的METROPOLIS、用于医疗设备的HOLOSCAN等。

CLARA HOLOSCAN MGX是一个开放可扩展的机器人平台，其设计符合IEC-62304医疗级规格，核心计算机为JETSON AGX ORIN和CONNECTX-7智能网卡，并可选配NVIDIA RTX A6000 GPU。

该平台AI算力可达每秒254~610万亿次运算，目前向早期体验客户开放，正式上市时间是5月，并将于2023年第一季度完成医疗级准备。

METROPOLIS平台的下载量已经达到30万次，拥有1000多个生态系统合作伙伴，并在超过100万个设施中运营。

机器人发展最快的领域之一是自主移动机器人（AMR），它本质上是室内无人驾驶，速度偏低但环境高度非结构化。

今天，英伟达推出ISAAC FOR AMR，它有四大核心：用于真值生成的NVIDIA DEEPMAP、用于训练模型的NVIDIA AI、搭载ORIN的AMR机器人参考设计、ISAAC机器人技术堆栈中的新GEM及基于OMNIVERSE的新版ISAAC SIM，每个都单独可用且完全开放。

与DRIVE HYPERION类似，ISAAC NOVA是一个AMR机器人系统参考设计，整个ISAAC堆栈都基于此构建。NOVA有2个摄像头、2个激光雷达、8个超声波雷达和4个鱼眼摄像头。

英伟达还宣布推出JETSON ORIN开发者套件，以在边缘实现服务器级的AI性能。

NOVA AMR将于第二季度上市，它将配备英伟达新的DEEPMAP雷达制图系统，可以扫描和重建环境，以进行路线规划和数字孪生仿真。

在这场盛宴中，我们不仅看到技术突破改变各行各业的生产效率和工作方式，也看到英伟达围绕计算世界的最新布局。

随着新一代大规模云技术的出现，数据中心架构有待转型。在稳拥GPU基本盘的基础之上，英伟达的角色正从图形显示和加速计算“偏科学霸”，转向围绕数据中心三大芯片支柱全面发展。

黄仁勋认为，数据中心正在转变成“AI工厂”，它通过处理海量的数据来实现智能，而今日推出的H100便是实现企业AI业务加速的引擎。

H100的多项技术创新，数据中心专属GRACE CPU超级芯片的特殊设计，以及AI和OMNIVERSE平台的持续升级，进一步扩大了英伟达在加速AI训练及推理领域的领导地位。

在为期4天的英伟达GTC大会上，我们还将看到更多不同细分领域的专家，分享他们如何利用AI和加速计算领域的技术创新，来开展各类开创性的研究或解决正面临的挑战。

版权申明：凡本公众号内容注明【原创】的，内容版权归本作者所有，未标注【原创】的图片与文字内容均转载自网络，版权归原创者所有，图片和文字如有侵权烦请告知我们，我们会立即删除。谢谢！