作家 | ZeR0剪辑 | 心缘伪娘 露出
智东西好意思国圣何塞3月18日现场报谈，时隔5年，全球顶尖AI策画技巧嘉会、年度NVIDIA GTC大会重磅总结线下，就在刚刚，英伟达首创东谈主兼CEO黄仁勋发表长达123分钟的主题演讲，发布AI芯片最新震圈之作——Blackwell GPU，智东西受邀参会并从现场发来完整的干货报谈。
在这场大会上，英伟达展现出堪称恐怖的行业敕令力，将AI圈的顶尖技巧大牛和行业精英集聚在沿途。现场盛况空前，线下参会者逾万东谈主。智东西此行遭逢很多来自国内的参展商或不雅众，赫然感受到国内企业和建立者对这场AI嘉会的温雅。
当地时分3月18日13点，北京19日凌晨4点，GTC最重磅的主题演讲认真运转，在播放一段AI主题短片后，黄仁勋一稔标记性的玄色皮衣从圣何塞SAP中心场馆主舞台登场，与不雅众寒暄。
他最初追想了英伟达30年来追求加速策画旅程的伊始，历数研发立异性策画模式CUDA、将首台AI超等策画机DGX交给OpenAI等一系列里程碑事件，然后将话题当然地聚焦到生成式AI上。
在布告与多家EDA龙头的蹙迫合作伙伴关系后，他谈到快速演进的AI模子带动磨练算力需求暴涨，需要更大的GPU，“加速策画已达到临界点，通用策画已失去能源”，“在每一个行业，加速策画都比通用策画有了雄壮的升迁”。
紧接着，大屏幕上过电影般快速知道从GPU、超等芯片到超等策画机、集群系统的一系列枢纽组件，然后黄仁勋重磅布告：全新旗舰AI芯片Blackwell GPU，来了！
这是GPGPU规模最新的震圈之作，从树立到性能都将前辈Hopper GPU拍倒在沙滩上。他举起双手展示了Blackwell和Hopper GPU的对比，Blackwell GPU赫然大了一圈。
毕竟手心手背都是肉，对比完后，黄仁勋偶而运转安危：“It’s OK, Hopper. You’re very good, good boy, or good girl.”
但也不可怪老黄见异思迁，因为Blackwell的性能，果真是太强了！不管是FP8，如故全新的FP6、FP4精度，以及HBM能塞下的模子范围和HBM带宽，都作念到“倍杀”前代Hopper。
8年，从Pascal架构到Blackwell架构，英伟达将AI策画性能升迁了1000倍！
这还仅仅开胃小菜，黄仁勋信得过的“胃口”，是打造足以优化万亿参数级GPU策画的最强AI基础设施。
总体来看，英伟达在本届GTC大会上连发6个大招：
1、发布Blackwell GPU：磨练性能升迁至2.5倍，FP4精度推感性能升迁至前代FP8的5倍；升级第五代NVLink，互连速率是Hopper的2倍，可彭胀到576个GPU，能够贬责万亿参数羼杂巨匠模子通讯瓶颈。
2、Blackwell平台“全家桶”登场：既面向万亿参数级GPU策画优化，推出全新网罗交换机X800系列，模糊量高达800Gb/s；又发布GB200超等芯片、GB200 NVL72系统、DGX B200系统、新一代DGX SuperPOD AI超等策画机。
3、推出数十个企业级生成式AI微管事，提供一种封装和委用软件的新方式，便捷企业和建立者用GPU部署各式定制AI模子。
4、布告台积电、新念念科技将坑害性的光刻策画平台cuLitho参加分娩：cuLitho将策画光刻加速40-60倍，并罗致了增强的生成式AI算法，将为2nm及更先进制程建立提供“神助攻”。
5、发布东谈主形机器东谈主基础模子Project GR00T、新款东谈主形机器东谈主策画机Jetson Thor，对Isaac机器东谈主平台进行要紧升级，推动具身智能坑害。黄仁勋还将一双来自迪士尼探讨公司的袖珍英伟达机器东谈主带上台互动。
6、与苹果强强联手，将Omniverse平台引入苹果Vision Pro，并布告为工业数字孪生软件用具提供Omniverse Cloud API。
不外不祥是被预期到的本色太多，阛阓式样并莫得被刺激到疯涨。甘休好意思股收盘，英伟达最新股价为884.55好意思元/股，涨幅0.70%，最新市值为22114亿好意思元。
一、AI芯片新皇登场：2080亿颗晶体管，2.5倍磨练性能、5倍推感性能
进入生成式AI新纪元，AI策画需求爆发式增长，而一齐演进的英伟达GPU凭借顾盼群雄的实战算力，令全球AI行业患上“英伟达GPU饥渴症”，一众AI巨头重金难买黄仁勋点头。
当Hopper GPU如故AI竞赛争抢的重心资源，越过它的继任者——Blackwell GPU认真发布！
每一代英伟达GPU架构都会以一位科学家的名字来定名。新架构取名Blackwell是为了致意好意思国科学院首位黑东谈主院士、特出统计学家兼数学家David Blackwell。Blackwell擅长将复杂的问题肤浅化，他颓落发明的“动态野心”、“更新定理”庸碌在多个科学及工程学规模。
黄仁勋说，生成式AI是这个时期的决定性技巧，Blackwell是推动这场新工业立异的引擎。
Blackwell GPU有6大中枢技巧：
1、堪称是“寰宇最强劲的芯片”：集成2080亿颗晶体管，罗致定制台积电4NP工艺，袭取“组装芯片”的念念路，罗致同一内存架构+双芯树立，将2个受光刻模板（reticle）限制的GPU die通过10TB/s芯片间NVHyperfuse接口连一个同一GPU，共有192GB HBM3e内存、8TB/s显存带宽，单卡AI磨练算力可达20PFLOPS。
跟上一代Hopper比较，Blackwell因为集成了两个die，面积变大，比Hopper GPU足足多了1280亿个晶体管。对比之下，前代H100独一80GB HBM3内存、3.35TB/s带宽，H200有141GB HBM3e内存、4.8TB/s带宽。
2、第二代Transformer引擎：将新的微张量缩放扶直和先进的动态范围经管算法与TensorRT-LLM和NeMo Megatron框架结合，使Blackwell具备在FP4精度的AI推理才略，可扶直2倍的策画和模子范围，能在将性能和成果翻倍的同期保抓羼杂巨匠模子的高精度。
在全新FP4精度下，Blackwell GPU的AI性能达到Hopper的5倍。英伟达并未显露其CUDA中枢肠能，联系架构的更多细节还有待揭晓。
3、第五代NVLink：为了加速万亿参数和羼杂巨匠模子的性能，新一代NVLink为每个GPU提供1.8TB/s双向带宽，扶直多达576个GPU间的无缝高速通讯，适用于复杂大讲话模子。
单颗NVLink Switch芯片有500亿颗晶体管，罗致台积电4NP工艺，以1.8TB/s王人集4个NVLink。
4、RAS引擎：Blackwell GPU包括一个确保可靠性、可用性、可人戴性的专用引擎，还增多了芯片级功能，可应用基于AI的驻守性爱戴来进行会诊和预测可靠性问题，最大规则蔓延系统的平日运行时分，提宽绰范围AI部署的弹性，一次可不终止地运行数周致使数月，并虚拟运营本钱。
5、安全AI：先进的奥密策画功能可保护AI模子和客户数据，而不会影响性能，扶直新的土产货接口加密契约。
6、解压缩引擎：扶直最新情势，加速数据库查询，以提供数据分析和数据科学的最高性能。
AWS、戴尔、谷歌、Meta、微软、OpenAI、甲骨文、特斯拉、xAI都将罗致Blackwell居品。特斯拉和xAI共同的CEO马斯克直言：“咫尺在AI规模，莫得比英伟达硬件更好的。”
值得注重的是，比较以往强调单芯片的性能发扬，这次Blackwell系列发布更侧重在举座系统性能，并对GPU代堪称谓腌臜，大部分都统称为“Blackwell GPU”。
按此前阛阓传言，B100价钱可能梗概是3万好意思元，B200售价约为3.5万好意思元，这样来算，价钱只比前代升迁不到50%，磨练性能却提高2.5倍，性价比赫然更高。
如若订价涨幅不大，Blackwell系列GPU的阛阓竞争力坚韧到可怕，性能升迁迷漫凶猛，性价比相较上一代Hopper变更高，这让同业怎么打？
二、面向万亿参数级GPU策画优化，推出全新网罗交换机、AI超等策画机
Blackwell平台除了基础的HGX B100外，还包括NVLink Switch、GB200超等芯片策画节点、X800系列网罗交换机。
其中，X800系列是专为大范围AI量身订制的全新网罗交换机，以扶直新式AI基础设施简略运行万亿参数级生成式AI业务。
英伟达Quantum-X800 InfiniBand网罗和Spectrum-X800以太网罗是全球首批端到端模糊量高达800Gb/s的网罗平台，交换带宽厚量较前代居品提高5倍，网罗策画才略通过英伟达第四代SHARP技巧提高了9倍，网罗策画性能达到14.4TFLOPS。早期用户有微软Azure、甲骨文云基础设施、Coreweave等。
Spectrum-X800平台专为多佃户环境打造，可已毕每个佃户的AI责任负载的性能摆布，为生成式AI云和大型企业级用户带来优化的网罗性能。
同期，英伟达提供网罗加速通讯库、软件建立套件和经管软件等全套软件决策。
英伟达称GB200 Grace Blackwell超等芯片是为万亿参数范围生成式AI瞎想的处理器。该芯片通过900GB/s第五代NVLink-C2C互连技巧将2个Blackwell GPU王人集到1个英伟达Grace CPU。但英伟达并莫得明确Blackwell GPU的具体型号。
黄仁勋提起GB200超等芯片展示，说这是同类策画机中第一个作念到在这样小空间里容纳如斯多的策画，因此内存连结，它们“就像个好意思瞻念的人人庭，沿途建立一个应用才略”。
一个GB200超等芯片策画节点可内置2个GB200超等芯片。一个NVLink交换机节点可扶直2个NVLink交换机，总带宽达到14.4TB/s。
一个Blackwell策画节点包含2个Grace CPU和4个Blackwell GPU，AI性能达到80PFLOPS。
有了更强的GPU和网罗性能，黄仁勋布告推出一款全新策画单位——多节点、液冷、机架级系统英伟达GB200 NVL72。
GB200 NVL72像一个“巨型GPU”，能像单卡GPU雷同运作，AI磨练性能达到720PFLOPS，AI推感性能高达1.44EFLOPS，领有30TB快速显存，可处理高达27万亿个参数的大讲话模子，是最新DGX SuperPOD的构建模块。
GB200 NVL72可组合36个GB200超等芯片（共有72个B200 GPU和36个Grace CPU），通过第五代NVLink互连，还包括BlueField-3 DPU。
黄仁勋说，咫尺全球独一几台EFLOPS级的机器，这台机器由60万个零件构成，重达3000磅，是一个“在单个机架上的EFLOPS AI系统”。
据他分享，昔时用H100磨练GPT-MoE-1.8T大模子需要90天、破钞梗概8000个GPU、15MW的电力。而现在用GB200 NVL72只需要2000个GPU、4MW的电力。
在跑万亿参数模子时，GB200经过多维度的优化，单个GPU每秒Tokens模糊量能多达H200 FP8精度的30倍。
关于大讲话模子推理，与调换数目的H100比较，GB200 NVL72可提供30倍的性能升迁，并将本钱和能耗虚拟为前代的1/25。
AWS、谷歌云、微软Azure、甲骨文云基础设施等主流云均扶直拜访GB200 NVL72。
此外，英伟达推出用于AI模子磨练、微融合推理的同一AI超等策画平台DGX B200系统。
DGX B200系统是DGX系列的第六代居品，罗致风冷传统机架式瞎想，包括8个B200 GPU、2个第五代英特尔至强处理器，在FP4精度下可提供144PFLOPS的AI性能、1.4TB超大容量GPU显存、64TB/s显存带宽，能使万亿参数模子的及时推理速率快至上一代的15倍。
该系统包含带有8个ConnectX-7网卡和2个BlueField-3 DPU的先进网罗，每个王人集带宽高达400Gb/s，可通过Quantum-2 InfiniBand和Spectrum-X以太网网罗平台提供更高AI性能。
英伟达还推出了罗致DGX GB200系统的下一代数据中心级AI超等策画机DGX SuperDOD，可餍足处理万亿参数模子，确保超大范围生成式AI磨练和推理责任负载的抓续运行。
新一代DGX SuperPOD由8个或更多DGX GB200系统构建而生，具有全新高效液冷机架级彭胀架构，在FP4精度下可提供11.5EFLOPS的AI算力和240TB快速显存，并能通过机架来彭胀性能。
每个DGX GB200系统有36个GB200超等芯片。与H100比较，GB200超等芯片在跑大讲话模子推理的性能可升迁高达45倍。
黄仁勋说，翌日数据中心将被觉得是AI工场，通盘行业都在为Blackwell作念准备。
三、推出数十个企业级生成式AI微管事，便捷企业定制和部署Copilots
硬件是杀手锏，软件则是护城河。
今天，英伟达赓续扩大凭借CUDA和生成式AI生态蓄积的上风，推出数十个企业级生成式AI微管事，以便建立者在英伟达CUDA GPU安设基础上创建和部署生成式AI Copilots。
黄仁勋说，生成式AI改换了应用才略编程方式，企业不再编写软件，而是组装AI模子，指定任务，给出责任居品示例，审查筹划和中间终结。
英伟达NIM是英伟达推理微管事的参考，是由英伟达的加速策画库和生成式AI模子构建的。微管事扶直行业递次的API，在英伟达大型CUDA安设基础上责任，并针对新的GPU进行优化。
企业可使用这些微管事在我方的平台上创建和部署自界说应用才略，同期保留对其学问产权的完满所有权和限度权。NIM微管事提供由英伟达推理软件扶直的预构建分娩AI容器，使建立东谈主员能够将部署时分从几周裁汰到几分钟。
NIM微管事可用于部署来自英伟达、AI21、Adept、Cohere、Getty Images、Shutterstock的模子，以及来自谷歌、Hugging Face、Meta、微软、Mistral AI、Stability AI的绽开模子。
用户将能够拜访来自亚马逊SageMaker、谷歌Kubernetes引擎和微软Azure AI的NIM微管事，并与Deepset、LangChain和LlamaIndex等流行AI框架集成。
为加速AI应用，企业可使用CUDA-X微管事，包括定制语音和翻译AI的英伟达Riva、用于旅途优化的英伟达cuOpt、用于高永诀率征象和天气模拟的英伟达Earth-2等。一系列用于定制模子建立的英伟达NeMo微管事行将推出。
建立者可在ai.nvidia.com免费试用英伟达微管事。企业可使用英伟达AI Enterprise 5.0部署分娩级NIM微管事。
四、推生成式AI算法，联手两大芯片界顶流，英伟达要掀翻光刻策画新立异！
在昨年的GTC大会上，英伟达面向芯片制造行业甩出一项机密研发4年的大招：通过坑害性的光刻策画库cuLitho，将策画光刻加速40-60倍，加速坑害分娩2nm及更先进芯片的物理极限。（黄仁勋向台积电放核弹！干掉40000台CPU管事器，策画光刻提速40倍）
这个式样标合作家，都是芯片产业链最欢叫的存在——全球最大AI芯片巨头英伟达、全球最大晶圆代工商台积电、全球最大EDA巨头新念念科技。
策画光刻技巧是芯片制造的基石。今天，在cuLitho加速进程的基础上，通过生成式AI算法将责任流的速率又升迁了2倍。
具体来说，晶圆厂工艺的很多变化需修正OPC（光学左近矫正），会增多策画量，形成建立瓶颈。cuLitho提供的加速策画和生成式AI则能缓解这些问题。应用生成式AI可创建近乎齐全的反掩模或向贬责决策来贬责光衍射问题，然后再通过传统的物理严格方法推导出最终的光掩模，从而将通盘OPC过程加速2倍。
在芯片制造过程中，策画光刻是策画最密集的责任负载，每年在CPU上破钞数百亿小时。比较基于CPU的方法，基于GPU加速策画光刻的库cuLitho能够大大改进了芯片制造工艺。
通过加速策画，350个英伟达H100系统可取代40000个CPU系统，大幅提高了模糊量，加速分娩，虚拟本钱、空间和功耗。
“咱们正在将英伟达cuLitho在台积电参加分娩。”台积电总裁魏哲家说，两边合作将GPU加速策画整合到台积电的责任进程中，已毕了性能的雄壮飞跃。在分享责任进程上测试cuLitho时，两家公司共同已毕了弧线进程45倍的加速以及传统曼哈顿进程近60倍的改进。
五、全新东谈主形机器东谈主基础模子、策画机来了！Isaac机器东谈主平台要紧更新
除了生成式AI，英伟达还特等看好具身智能，并发布了东谈主形机器东谈主通用基础模子Project GR00T、基于Thor SoC的新式东谈主形机器东谈主策画机Jetson Thor。
黄仁勋说：“建立通用东谈主形机器东谈主基础模子是咫尺AI规模中最令东谈主沸腾的课题之一。”
GR00T驱动的机器东谈主能调节当然讲话，并通过不雅察东谈主类活动来效法快速学习协调、天真性和其他手段，以相宜本质寰宇并与之互动。黄仁勋展示了多台这样的机器东谈主是怎么完成各式任务的。
Jetson Thor具有针对性能、功耗和尺寸优化的模块化架构。该SoC包括一个带有Transformer引擎的下一代Blackwell GPU，以运行GR00T等多模态生成式AI模子。
英伟达正为跳跃的东谈主形机器东谈主公司建立一个轮廓的AI平台，如1X、Agility Robotics、Apptronik、波士顿能源、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等。
此外，英伟达对Isaac机器东谈主平台进行了要紧升级，包括生成式AI基础模子和仿真用具、AI责任流基础设施。新功能将鄙人个季度推出。
av天堂快播英伟达还发布了一系列机器东谈主预磨练模子、库和参考硬件。比如Isaac Manipulator，为机械臂提供了天真性和模块化AI功能，以及一系列基础模子和GPU加速库；Isaac Perceptor，提供了先进的多录像头、3D重建、深度感知等功能。
六、Omniverse平台新进展：挺进Vision Pro，发布云API
英伟达布告将Omniverse平台引入苹果Vision Pro。
面向工业数字孪生应用，英伟达将以API形势提供Omniverse Cloud。建立东谈主员可借助该API将交互式工业数字孪生流传输到VR头显中。
通过使用API，建立者能简略地将Omniverse的中枢技巧胜利集成到现存的数字孪生瞎想与自动化软件应用中，或是集成到用于测试和考据机器东谈主或自动驾驶汽车等自主机器的仿真责任流中。
黄仁勋敬佩所有制造出来的居品都将领罕有字孪生，Omniverse是一个不错构建并操作物理真实的数字孪生的操作系统。他觉得：“Omniverse和生成式AI都是将价值高达50万亿好意思元的重工业阛阓进行数字化所需的基础技巧。”
5款全新Omniverse Cloud API既可单独使用，又可组合使用：USD Render（生成OpenUSD数据的全光芒跟踪RTX渲染），USD Write（让用户能够修改OpenUSD数据并与之交互），USD Query（扶直场景查询和交互式场景），USD Notify（跟踪USD变化并提供更新信息），Omniverse Channel（王人集用户、用具和寰宇，已毕跨场景勾通）。
Omniverse Cloud API将于本年晚些时候在微软Azure上以英伟达A10 GPU上的自托管API，或是部署在英伟达OVX上的托管管事的形势提供。
结语：重头戏终结了，但好戏才刚刚运转
除了上述蹙迫发布外，黄仁勋还在演讲均分享了这些进展：
在电信规模，英伟达推出6G探讨云平台，这是一个生成式AI和Omniverse驱动的平台，旨在股东无线通讯技巧建立。
英伟达的地球征象数字孪生云平台Earth-2现已可用，可已毕交互式高永诀率模拟，以加速征象和天气预测。
黄仁勋觉得，AI的最大影响将是在医疗健康规模，英伟达仍是在成像系统、基因测序仪器和与跳跃的手术机器东谈主公司合作，并正在推出一种新式生物软件。
在汽车行业，全球最大的自动驾驶汽车公司比亚迪未回电动汽车将搭载英伟达罗致Blackwell架构新一代自动驾驶汽车（AV）处理器DRIVE Thor。DRIVE Thor瞻望最早将于来岁运转量产，性能高达1000TFLOPS。
黄仁勋说：“英伟达的灵魂是策画机图形学、物理学和东谈主工智能的杂乱。”在演讲终结时，他划了5个重心：新工业、Blackwell平台、NIM微管事、NEMO和AI代工场、Omniverse和Isaac机器东谈主。
今天，英伟达再度刷新AI硬件和软件天花板，并带来了一场围绕AI、大模子、元天地、机器东谈主、智能驾驶、医疗健康、量子策画等前沿科技的贪馋盛宴。
黄仁勋的主题演讲无疑是GTC大会的重头戏，但关于现场和良友的参会者来说，精彩才刚刚拉开序幕！接下来，超1000场围绕英伟达最新进展以及热点前沿技巧的演讲、对话、培训和圆桌商榷将张开。多位参会不雅众抒发了对“分身乏术”的无奈，他们不得不在有限的时分里精挑细选，忍痛割爱，没法连续参与所有感风趣风趣的本色。
动作AI产业的蹙迫风向标，GTC 2024为技巧交流搭建了一个空前宽绰的平台伪娘 露出，期间的新品发布和技巧分享有望给学术探讨和连接产业链带来积极影响。新一代Blackwell架构的更多技巧细节还有待进一步挖掘。智东西和芯东西将从现场抓续发来一手报谈，敬请关注。