NVIDIA Hopper H100 GPU avbildad i all ära: Världens snabbaste 4nm GPU och världens första med HBM3-minne

På GTC 2022, NVIDIA avtäckt dess Hopper H100 GPU, ett datorkraftpaket designat för nästa generations datacenter. Det var ett tag sedan vi pratade om detta mäktiga chip men det ser ut som att NVIDIA gav en närbild av sitt flaggskeppschip till utvalda media.

NVIDIA Hopper H100 GPU: Först med 4nm och HBM3-teknik får högupplösta bilder

CNET lyckats få tag på inte bara grafikkortet som H100 GPU:n är smält på utan även själva H100-chippet. H100 GPU är ett monsterchip som är packat med den senaste 4nm-tekniken och innehåller 80 miljarder transistorer tillsammans med den avancerade HBM3-minnesteknologin. Enligt teknikuttaget är H100 byggd på PG520 PCB-kortet som har över 30 power VRMs och en massiv integrerad interposer som använder TSMC:s CoWoS-teknik för att kombinera Hopper H100 GPU med en 6-stack HBM3-design.

NVIDIA går med på böter på $5,5 miljoner Cryto-intäkter utan att erkänna något fel

NVIDIA Hopper H100 GPU på bilden (Bild: CNET):

Av de sex stackarna hålls två stackar för att säkerställa avkastningen integritet. Men den nya HBM3-standarden tillåter upp till 80 GB kapacitet vid 3 TB/s hastigheter, vilket är galet. Som jämförelse erbjuder det nuvarande snabbaste spelgrafikkortet, RTX 3090 Ti, bara 1 TB/s bandbredd och 24 GB VRAM-kapacitet. Annat än det, packar H100 Hopper GPU också i det senaste FP8-dataformatet, och genom sin nya SXM-anslutning hjälper den till att rymma den 700W kraftdesign som chippet är designat kring.

NVIDIA Hopper H100 GPU-specifikationer i en överblick

Så när det gäller specifikationerna är NVIDIA Hopper GH100 GPU sammansatt av en massiv 144 SM (Streaming Multiprocessor) chiplayout som finns med i totalt 8 GPC. Dessa GPC:er rockar totalt 9 TPC:er som ytterligare består av 2 SM-enheter vardera. Detta ger oss 18 sms per GPC och 144 på hela 8 GPC-konfigurationen. Varje SM består av upp till 128 FP32-enheter vilket borde ge oss totalt 18 432 CUDA-kärnor. Följande är några av de konfigurationer du kan förvänta dig av H100-chippet:

Den fullständiga implementeringen av GH100 GPU inkluderar följande enheter:

NVIDIA GeForce RTX 3090 Ti Custom ‘XOC’ BIOS skjuter effektgränsen till nästan 1000W

• 8 GPC, 72 TPC (9 TPC/GPC), 2 SM:er/TPC, 144 SM:er per full GPU
• 128 FP32 CUDA-kärnor per SM, 18432 FP32 CUDA-kärnor per full GPU
• 4 fjärde generationens tensorkärnor per SM, 576 per full GPU
• 6 HBM3- eller HBM2e-stackar, 12 512-bitars minneskontroller
• 60 MB L2-cache
• Fjärde generationens NVLink och PCIe Gen 5

NVIDIA H100 GPU med SXM5-kortformfaktor inkluderar följande enheter:

• 8 GPC, 66 TPC, 2 SMs/TPC, 132 SMs per GPU
• 128 FP32 CUDA-kärnor per SM, 16896 FP32 CUDA-kärnor per GPU
• 4 fjärde generationens Tensor Cores per SM, 528 per GPU
• 80 GB HBM3, 5 HBM3-stackar, 10 512-bitars minneskontroller
• 50 MB L2-cache
• Fjärde generationens NVLink och PCIe Gen 5

Detta är en ökning på 2,25 gånger jämfört med hela GA100 GPU-konfigurationen. NVIDIA drar också nytta av fler FP64-, FP16- och Tensor-kärnor inom sin Hopper GPU som skulle öka prestandan oerhört. Och det kommer att bli en nödvändighet för att konkurrera med Intels Ponte Vecchio som också förväntas ha 1:1 FP64.

Cachen är ett annat utrymme där NVIDIA har gett mycket uppmärksamhet och höjt den till 48 MB i Hopper GH100 GPU. Detta är en ökning med 20 % jämfört med cachen på 50 MB som finns på Ampere GA100 GPU och 3 gånger så stor som AMD:s flaggskepp Aldebaran MCM GPU, MI250X.

Avrundat prestandasiffrorna uppåt kommer NVIDIAs GH100 Hopper GPU att erbjuda 4000 TFLOPs av FP8, 2000 TFLOPs av FP16, 1000 TFLOPs av TF32 och 60 TFLOPs av FP64 Compute-prestanda. Dessa rekordhämmande siffror decimerar alla andra HPC-acceleratorer som kom före den. Som jämförelse är detta 3,3 gånger snabbare än NVIDIAs egen A100 GPU och 28% snabbare än AMD:s Instinct MI250X i FP64-datorn. I FP16 compute är H100 GPU:n 3 gånger snabbare än A100 och 5,2 gånger snabbare än MI250X, vilket bokstavligen är galet.

PCIe-varianten som är en nedskuren modell var nyligen listad över i Japan för över 30 000 USD så man kan föreställa sig att SXM-varianten med en tjockare konfiguration lätt kommer att kosta runt $50 grand.

NVIDIA Ampere GA100 GPU-baserad Tesla A100-specifikationer: