Nvidia NVLink
NVLink ist eine Verbindungstechnik von Nvidia, die GPUs direkt miteinander verbindet, ohne Umweg über den PCIe-Bus und die CPU. Die GPUs lesen und schreiben dabei gegenseitig in ihren Speicher, als wäre es ein gemeinsamer. Eingeführt wurde NVLink 2016 mit der Pascal-Generation; seitdem hat sich die Bandbreite pro GPU mit fast jeder Generation verdoppelt.
Heute ist NVLink die Grundlage der Scale-up-Fabric in KI-Rechenzentren: Innerhalb einer NVLink-Domain arbeiten bis zu 72 GPUs wie ein großer Beschleuniger. Zwischen den Domains übernimmt die Scale-out-Fabric mit InfiniBand oder Ethernet.
Generationen und Bandbreite
| Generation | Architektur | Jahr | Bandbreite pro GPU | Links pro GPU |
|---|---|---|---|---|
| NVLink 1 | Pascal (P100) | 2016 | 160 GB/s | 4 |
| NVLink 2 | Volta (V100) | 2017 | 300 GB/s | 6 |
| NVLink 3 | Ampere (A100) | 2020 | 600 GB/s | 12 |
| NVLink 4 | Hopper (H100, H200) | 2022 | 900 GB/s | 18 |
| NVLink 5 | Blackwell (B200, GB200, GB300) | 2024 | 1,8 TB/s | 18 |
| NVLink 6 | Rubin | 2026 | 3,6 TB/s | 36 |
Alle Werte sind bidirektional, also Senden und Empfangen zusammen. In eine Richtung liefert NVLink 5 demnach 900 GB/s, NVLink 6 1,8 TB/s. Zum Vergleich: Nach Angabe von Nvidia übertrifft NVLink 6 die Bandbreite von PCIe 6.0 um mehr als das 14-Fache.
NVLink 5 überträgt mit PAM4-Signalisierung. Ein einzelner Link liefert 100 GB/s bidirektional; die Bandbreite pro GPU ergibt sich aus der Zahl der Links.
NVSwitch: von acht auf 72 GPUs
Direkte Links zwischen GPUs reichen nur für wenige Teilnehmer. Ab acht GPUs sitzt ein NVSwitch dazwischen, ein eigener Switch-Chip, der jede GPU mit jeder anderen mit voller Bandbreite verbindet (all-to-all, non-blocking).
| NVLink 4 (Hopper) | NVLink 5 (Blackwell) | NVLink 6 (Rubin) | |
|---|---|---|---|
| typische Domain im Server | 8 GPUs | 8 GPUs | 8 GPUs |
| größere Domain | bis 256 GPUs über externe NVLink-Switches, selten genutzt | 72 GPUs im Rack | 72 GPUs im Rack |
| Gesamtbandbreite der Domain | 7,2 TB/s (8 GPUs) | 130 TB/s (72 GPUs) | 260 TB/s (72 GPUs) |
Ein NVSwitch-5-Chip hat 144 NVLink-Ports mit zusammen 14,4 TB/s. Im NVL72-Rack verbinden neun Switch-Trays mit je zwei solchen Chips alle 72 GPUs über eine Kupfer-Backplane. Für Blackwell nennt Nvidia als Obergrenze 576 GPUs in einer NVLink-Domain über mehrere Racks; in der Praxis endet die Domain meist am Rack.
NVLink-C2C zwischen CPU und GPU
NVLink-C2C (Chip-to-Chip) ist die Variante für kurze Wege auf demselben Board oder Package. Sie koppelt Nvidias eigene Arm-CPUs speicherkohärent mit den GPUs: Grace mit Hopper oder Blackwell mit 900 GB/s, Vera mit Rubin mit 1,8 TB/s. Die CPU kann damit direkt auf den GPU-Speicher zugreifen und umgekehrt; der Arbeitsspeicher der CPU wird zur Erweiterung des GPU-Speichers.
NVLink Fusion: NVLink für Chips anderer Hersteller
Bis 2025 gab es NVLink nur in Nvidia-Chips. Mit NVLink Fusion (vorgestellt im Mai 2025) lizenziert Nvidia die NVLink-Schnittstelle an andere Hersteller. Zwei Wege sind vorgesehen:
- Eigene CPU an Nvidia-GPUs: Ein Hersteller baut NVLink-C2C in seinen Prozessor ein und koppelt ihn an Nvidia-GPUs. Fujitsu und Qualcomm haben das angekündigt.
- Eigener Beschleuniger in der NVLink-Fabric: Ein Custom-Chip (XPU) bekommt NVLink-Ports und hängt an NVSwitch und Nvidia-CPUs. AWS hat das für Trainium4 angekündigt.
NVLink bleibt dabei proprietär: Nvidia gibt keine Spezifikation frei, sondern lizenziert IP-Blöcke, und NVSwitch bleibt Nvidia-Hardware. Die Lizenzbedingungen sind nicht öffentlich.
NVLink oder UALink
UALink (Ultra Accelerator Link) ist ein offener Industriestandard für denselben Zweck, getragen von einem Konsortium um AMD, Intel und weitere Hersteller. Der Unterschied liegt weniger in der Technik als im Modell:
| NVLink | UALink | |
|---|---|---|
| Spezifikation | proprietär, Nvidia | offen, UALink Consortium |
| Switches | nur Nvidia (NVSwitch) | mehrere Hersteller vorgesehen |
| Fremde Chips | über Lizenz (NVLink Fusion) | Ziel des Standards |
| Verfügbarkeit | seit 2016 im Einsatz | erste Produkte im Aufbau |
Abgrenzung
- PCIe: der Standardbus im Server für Netzwerkkarten, SSDs und GPUs. NVLink ersetzt PCIe nicht, sondern ergänzt es für die GPU-zu-GPU-Kommunikation; die GPU hängt zusätzlich am PCIe-Bus.
- NVLink-Brücke bei Grafikkarten: Bei einzelnen Workstation- und Gaming-Karten verband eine steckbare Brücke zwei Karten. Mit der GeForce RTX 3090 endete NVLink im Consumer-Bereich; mit der Brücke für SLI-Spiele hat NVLink im Rechenzentrum nur den Namen gemeinsam.
- InfiniBand und RoCE: verbinden Server über Netzwerkkarten und Switches (Scale-out). NVLink verbindet GPUs direkt innerhalb einer Domain (Scale-up).