九游体育app官网在此基础上从 GB200 升级到 GB300-Ninegame-九游体育(中国大陆)官方网站|jiuyou.com

英伟达老黄，成了本年的圣诞老黄。

AI 芯片大礼包刚刚曝光：

GPU 新核弹B300，以及附带 CPU 的超等芯片GB300。

高算力，在家具层面上比较 B200 在 FLOPS 上提高 50%

大显存，从 192GB 擢升到 288GB，亦然提高了 50%。

△Grok   AI 画图

包含 72 块 GB300 的"新一代缠绵单元" GB300 NVL72，更是被评价为"能让 OpenAI o1/o3 推理大模子的念念维链长度，在高 batch size 下达到 10 万 tokens 的独一有筹办"。‍

这与本年 3 月份" AI 春晚"发布的 B200 系列只隔了几个月。

凭证 SemiAnalysis 爆料，从第三季度运行，好多 AI 巨头依然将订单从 B200 升沉到了 B300（只须微软还在第四季度不时购买了部分 B200）。

有不少网友吟唱，更新速率真的太快了！

既是管制了此前传奇中 B200 因设想弱势被动推迟的问题，又是对临近 AMD MI300 系列后续家具将在 2025 年擢升显存容量的回报。

又一款 AI 核弹

既然皆是 Blackwell 架构莫得跨代，B300 的算力提高来自那儿呢？

凭证此次爆料，主要有三部分：

工艺节点，与 B200 使用相同的台积电 4NP，然则全新流片

增多功率，GB300 和 B300 HGX 的 TDP 区别达到 1.4KW、1.2KW，比较之下 B200 系列区别提高 0.2KW

架构微调动，举例在 CPU 和 GPU 之间动态分拨功率

除了更高 FLOPS 以外，B300 系列的显存也作念了升级：

从 8 层堆叠的HBM3E升级到 12 层（12-Hi HBM3E）

显存容量从 192GB 升级到 288GB

显存带宽保捏不变，仍为 8TB/s

此外家具录用层面还有一个大变化：

GB200 系列提供悉数这个词Bianca Board，也就包括两颗 GPU、一颗 CPU、CPU 的内存等悉数组件皆集成在一块 PCB 版上。

△GB200 主意图

GB300 系列将只提供参考板（Reference Board），包括两颗 B300 GPU、一颗 Grace CPU、HMC（Hybrid Memory Cube），LPCAMM 内存模块等组件将由客户自行采购。

这给供应链上的 OEM 和 ODM 制造商带来了新的契机。

为推理大模子打造

显存的升级对 OpenAI o1/o3 一类的推理大模子至关枢纽，因为推理念念维链长度会增多 KVCache，影响 batch size 和延长。

以一个 GB300 NVL72 "缠绵单元"为单元探求时，它使 72 个 GPU 能够以极低的延长处理调换的问题，并分享显存。

在此基础上从 GB200 升级到 GB300，还不错带来好多平正：

每个念念维链的延长更低

达成更长的念念维链

谴责推理老本

处理归拢问题时，不错搜索更种种本，最终提高模子智商

为了阐述这些擢升，SemiAnalysis 举了个更为直不雅的例子。

下图是在不同批处理大小下，使用 H100 和 H200 两种 GPU 处理长序列时，Llama 3.1 405B 在 FP8 精度下的处理速率。

输入建造为 1000 个 token、输出 19000 个 token，由此模拟 OpenAI o1 和 o3 模子中的念念维链。

从 H100 升级到 H200，有两个显耀矫正。

一是在悉数可比较的 batch size 中，H200 的内存带宽更大（H200 4.8TB/s，H100 3.35TB/s），从而使得处理效果多数提高了 43%。

二是 H200 可运行更高的 batch size，这使得其每秒不错生成的 token 数目增多了 3 倍，相应地，老本也减少了约 3 倍。

内存增多所带来的效益远不啻名义上的这些。

无人不晓，推理模子反馈时刻一般更长，显耀裁汰推理时刻不错提高用户体验和使用频率。

而况内存升级达成 3 倍性能擢升，老本减少 3 倍，这一擢升速率也远超摩尔定律。

除此以外，SemiAnalysis 还分析不雅察到，智商更强和具有显豁互异化的模子能收取更高的溢价——

前沿模子毛利率超 70%，而还在与开源模子竞争的次一级模子毛利率不及 20%。

诚然，英伟达并不是独逐一家能增多内存的芯片公司，但如何英伟达还有杀手锏NVLink。

One More Thing

英伟达蹧跶级显卡方面，RTX5090 的 PCB 板也初次曝光了～

就在昨天，一张 RTX 5090 PCB 像片在网上疯转。

特色便是超超超大号。

麇集此前爆料称 5090 有可能会配备32GB 大显存，有望复古 8K 超高清游戏，达成 60fps 的开通游戏体验。

网友们径直坐不住。

对于 5090 的发布时刻，大伙儿料到能够会是 1 月 6 日老黄 CES 演讲的时候。

参考清醒：

[ 1 ] https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/

[ 2 ] https://x.com/mark_k/status/1871864813913330003

[ 3 ] https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/

—  完  —

点这里� � 温顺我，牢记标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿施展日日再会 ~