NVIDIA Blackwell：引领计算新纪元

• 🚀简介：NVIDIA Blackwell 是一个创新平台，致力于在人工智能和数据处理领域实现计算技术的革命。

• 🔍能力：它在 AI 训练和推理性能、能源效率以及模型尺寸的可扩展性方面带来了重大提升。

• 🔧核心特性：包括 Blackwell 架构、第二代 Transformer 引擎（Transformer Engine），以及用于加强 GPU 间通讯的 NVLink 开关（NVLink Switch）。

• 📈性能表现：Blackwell 平台的 B200 GPU 提供高达 20 petaflops 的 FP4 计算能力，专门为大规模 AI 模型的训练和推断而设计。

• 🌐应用范围：Blackwell 将推动 AI 发展、量子研究及数据中心的优化进入新时代。

来自 theverge.com

Nvidia 称，新的 B200 GPU 拥有 208 亿晶体管，可提供高达 20 petaflops 的 FP4 计算能力。

https://www.theverge.com/2024/3/18/24105157/nvidia-blackwell-gpu-b200-ai

能力

• 🔋节能减排：与先前模型相比，Blackwell GPU 的能效提升可达 25 倍，对于大规模计算项目而言更加环保和经济。

• 📏模型扩展：平台能够在显著降低 GPU 使用量和功耗的情况下，训练高达 1.8 万亿参数的模型，彰显其出色的扩展能力。

• 🚗智能汽车：Blackwell 正在推动智能汽车领域的 AI 技术进步，改善驾驶体验并增强安全性。

来自 Nvidia

历史上，训练一个 1.8 万亿参数的模型需要使用 8000 个 Hopper GPU 和 15 兆瓦的电力。

核心特性

• 🏗️创新架构：Blackwell 架构专为应对生成式 AI 和大规模数据处理的挑战而设计。

• 🔄进阶 Transformer 引擎：第二代 Transformer 引擎通过每个神经元使用四位数据而非八位，实现了计算能力、带宽和模型规模的倍增。

• 🔗高效通信：NVLink 开关技术使得 576 个 GPU 能以每秒 1.8 TB 的双向带宽相互通信，大幅提升了数据处理效率。

来自Nvidia

其中一个关键进步是第二代 Transformer 引擎，它通过对每个神经元使用四位数据而非八位，达到了计算能力、带宽和模型规模的倍增。

性能表现

• 📊AI 性能基准：GB200 GPU 在 GPT-3 大语言模型基准测试上展示了比 H100 高出七倍的性能，并且训练速度提高了四倍。

• 🔢极限模型支持：Blackwell GPU 能支持高达 27 万亿参数的模型，证明了其处理超大规模 AI 模型的强大能力。

• 🔌数据中心融合：NVIDIA 正与主要云服务商合作，提供基于 Blackwell 的数据中心解决方案，支持 AI 和高性能计算（HPC）工作负载。

来自Nvidia

GB200 相对于 H100 的性能提升虽然更为谦逊，但依然实现了七倍的性能飞跃，并且训练速度提升了四倍。

• 世界最强芯片 — Blackwell GPU搭载了2080亿晶体管，并采用了TSMC的4NP定制工艺。这些GPU通过高达10 TB/秒的芯片间连接技术实现统一，展现了前所未有的计算能力。

• 第二代Transformer引擎 — 利用微小的张量缩放技术和NVIDIA先进的动态范围管理算法，Blackwell架构

• 第五代NVLink — 为了进一步提升多万亿参数模型和混合专家模型的性能，NVIDIA的最新一代NVLink技术实现了每GPU 1.8TB/s的双向吞吐量，支持多达576个GPU的高速、无缝通信，满足最复杂的大型语言模型的需求。

• RAS引擎 — 包含专用于可靠性、可用性和服务性（RAS）的引擎，Blackwell GPU通过在芯片级别加入AI预测性维护功能，能够实时诊断和预测潜在的可靠性问题，确保系统长时间稳定运行，同时降低了大规模AI部署的运营成本。

• 安全AI — Blackwell架构还引入了先进的机密计算功能，通过支持最新的接口加密协议，不牺牲性能的前提下保护AI模型和客户数据的安全，特别适用于对隐私保护要求极高的医疗保健和金融服务行业。

• 解压缩引擎 — 专为支持最新格式的数据解压缩而设计，能够加速数据库查询，极大提高数据分析和数据科学领域的性能，预示着未来数据处理的GPU加速趋势。

• 20 PFLOPS FP8 (Hopper的2.5倍)

• 20 PFLOPS FP6 (Hopper的2.5倍)

• 40 PFLOPS FP4 (Hopper的5.0倍)

• 740B 参数 (Hopper的6.0倍)

• 34T 参数/秒 (Hopper的5.0倍)

• 7.2 TB/s NVLINK (Hopper的4.0倍)

NVIDIA Blackwell B200 GPU 2024年 - 192GB HBM3e

• TMSC 4NP工艺节点

• 多芯片封装GPU

• 1-GPU 1040亿晶体管

• 2-GPU 2080亿晶体管

• 160 SMs（20,480核心）

• 8 HBM包

• 192GB HBM3e内存

• 8 TB/s内存带宽

• 8192位内存总线接口

• 8-Hi堆栈HBM3e

• PCIe 6.0支持

• 700W TDP（峰值）