Nvidia NVL72
Nvidia NVL72 bezeichnet eine Rack-Bauform für KI-Training und -Inferenz, bei der ein komplettes 19-Zoll-Rack als ein einziger Rechner arbeitet. „NVL“ steht für NVLink, die Zahl für die Anzahl der GPUs in der gemeinsamen NVLink-Domain. Jede GPU erreicht jede andere im Rack direkt über NVLink-Switches, ohne Umweg über Netzwerkkarten. Das Rack ist damit eine Scale-up-Fabric im Rack-Maßstab.
Die Bezeichnung tragen drei Generationen: GB200 NVL72 (Blackwell, seit Ende 2024 ausgeliefert), GB300 NVL72 (Blackwell Ultra, seit Mitte 2025) und Vera Rubin NVL72 (seit 2026). Das Rack gibt es von NVIDIA selbst (DGX) und von Serverherstellern nach der MGX-Referenzarchitektur.
Aufbau des Racks
Am Beispiel GB300 NVL72:
| Komponente | Anzahl | Inhalt |
|---|---|---|
| Compute-Tray (1U) | 18 | je 2 Grace-CPUs, 4 GPUs, 4 SuperNICs mit 800 Gbit/s |
| NVLink-Switch-Tray | 9 | je 2 NVSwitch-ASICs der 5. Generation, gemanagt |
| Management-Switch | 2–3 | Out-of-Band-Zugang zu allen Rack-Komponenten |
| Power Shelf | 6–8 | je 33 kW aus sechs Netzteilen à 5,5 kW |
| Rack | 1 | 48U MGX, 2.296 × 600 × 1.068 mm (H × B × T) |
Insgesamt sind das 72 GPUs und 36 CPUs mit 2.592 Arm-Kernen (Neoverse V2). CPU und GPU sind über NVLink-C2C kohärent gekoppelt; je zwei GPUs teilen sich eine Grace-CPU. Die Verbindung zwischen Compute- und Switch-Trays läuft über eine Kupfer-Backplane auf der Rückseite des Racks (Cable Cartridges), nicht über Glasfaser.
NVLink-Domain und Scale-out
NVLink 5 liefert 1,8 TB/s pro GPU, über 72 GPUs zusammen rund 130 TB/s. Innerhalb dieser Domain sieht die Software den gesamten GPU-Speicher als gemeinsamen Pool. Das ist der eigentliche Unterschied zu klassischen GPU-Servern mit acht GPUs, deren NVLink-Domain am Gehäuse endet.
Über das Rack hinaus endet NVLink. Mehrere Racks werden über eine Scale-out-Fabric verbunden, entweder InfiniBand oder Ethernet mit RoCEv2. Die Netzwerkkarten in den Compute-Trays liefern dafür 800 Gbit/s pro GPU. Große Cluster koppeln so Dutzende bis Tausende NVL72-Racks, meist in einer Rail-optimized Topology.
Generationen im Vergleich
| GB200 NVL72 | GB300 NVL72 | Vera Rubin NVL72 | |
|---|---|---|---|
| GPU | Blackwell | Blackwell Ultra | Rubin |
| CPU | 36 × Grace | 36 × Grace | 36 × Vera (88 Kerne) |
| Speicher pro GPU | 186 GB HBM3E | 288 GB HBM3E | 288 GB HBM4 |
| GPU-Speicher pro Rack | 13,4 TB | 20 TB | 20 TB |
| FP4 pro Rack | 1.440 PFLOPS (sparse) | 1.440 PFLOPS (sparse) | 3.600 PFLOPS (Inferenz, NVFP4) |
| TDP pro GPU | 1,2 kW | 1,4 kW | k. A. |
| Leistung pro Rack | 120–132 kW | 132–142 kW, Spitze ca. 155 kW | deutlich höher |
Ohne Sparsity liefert GB300 NVL72 1.080 PFLOPS FP4, GB200 NVL72 die Hälfte des Sparse-Werts, also 720 PFLOPS. Der Vorsprung von Blackwell Ultra zeigt sich nur in dieser Angabe; bei Rubin nennt der Hersteller bisher nur den Inferenzwert.
Zählweise bei Rubin
Bis Blackwell zählt die Zahl hinter „NVL“ GPU-Packages. Für Rubin hatte NVIDIA zunächst „NVL144“ angekündigt und dabei die einzelnen GPU-Dies gezählt, zwei pro Package. Inzwischen heißt das Rack wieder NVL72 und zählt wie zuvor 72 Packages. Ältere Quellen mit „Vera Rubin NVL144“ meinen dasselbe System.
Anforderungen an das Rechenzentrum
Ein NVL72-Rack zieht mehr als das Zehnfache eines klassischen Server-Racks. Daraus folgen Bedingungen, die viele bestehende Rechenzentren ohne Umbau nicht erfüllen:
- Kühlung: Direct-to-Chip-Kühlung ist Pflicht. CPUs, GPUs, NVLink-Switches und Netzteile hängen am Flüssigkeitskreislauf, Luft führt nur noch den Rest ab. Die Vorlauftemperatur darf bei GB300 zwischen 18 und 45 °C liegen; das erlaubt Betrieb ohne Kältemaschine und Abwärmenutzung. Die Übergabe an den Gebäudekreislauf übernimmt eine Coolant Distribution Unit.
- Strom: Die Power Shelves speisen eine DC-Busbar im Rack. Pro Rack sind 140 kW und mehr zuzuführen, redundant und mit USV.
- Gewicht: Ein bestücktes GB300-NVL72-Rack wiegt rund 1,6 t. Doppelböden und Aufzüge müssen dafür ausgelegt sein.
- Leckage: Die Racks haben eine Leckageerkennung auf Tray- und Rack-Ebene.
Abgrenzung
- HGX/DGX mit acht GPUs: klassische GPU-Server, bei denen die NVLink-Domain acht GPUs umfasst und am Gehäuse endet. Mehrere davon passen in ein Rack, bilden aber keine gemeinsame Domain.
- NVL4, NVL2: kleinere Bauformen mit derselben Namenslogik, etwa GB200 NVL4 mit vier GPUs auf einem Board.
- UALink: offener Industriestandard für Scale-up-Fabrics, als Alternative zum proprietären NVLink.