Nvidia NVLink

NVLink ist eine Verbindungstechnik von Nvidia, die GPUs direkt miteinander verbindet, ohne Umweg über den PCIe-Bus und die CPU. Die GPUs lesen und schreiben dabei gegenseitig in ihren Speicher, als wäre es ein gemeinsamer. Eingeführt wurde NVLink 2016 mit der Pascal-Generation; seitdem hat sich die Bandbreite pro GPU mit fast jeder Generation verdoppelt.

Heute ist NVLink die Grundlage der Scale-up-Fabric in KI-Rechenzentren: Innerhalb einer NVLink-Domain arbeiten bis zu 72 GPUs wie ein großer Beschleuniger. Zwischen den Domains übernimmt die Scale-out-Fabric mit InfiniBand oder Ethernet.

Generationen und Bandbreite

GenerationArchitekturJahrBandbreite pro GPULinks pro GPU
NVLink 1Pascal (P100)2016160 GB/s4
NVLink 2Volta (V100)2017300 GB/s6
NVLink 3Ampere (A100)2020600 GB/s12
NVLink 4Hopper (H100, H200)2022900 GB/s18
NVLink 5Blackwell (B200, GB200, GB300)20241,8 TB/s18
NVLink 6Rubin20263,6 TB/s36

Alle Werte sind bidirektional, also Senden und Empfangen zusammen. In eine Richtung liefert NVLink 5 demnach 900 GB/s, NVLink 6 1,8 TB/s. Zum Vergleich: Nach Angabe von Nvidia übertrifft NVLink 6 die Bandbreite von PCIe 6.0 um mehr als das 14-Fache.

NVLink 5 überträgt mit PAM4-Signalisierung. Ein einzelner Link liefert 100 GB/s bidirektional; die Bandbreite pro GPU ergibt sich aus der Zahl der Links.

NVSwitch: von acht auf 72 GPUs

Direkte Links zwischen GPUs reichen nur für wenige Teilnehmer. Ab acht GPUs sitzt ein NVSwitch dazwischen, ein eigener Switch-Chip, der jede GPU mit jeder anderen mit voller Bandbreite verbindet (all-to-all, non-blocking).

NVLink 4 (Hopper)NVLink 5 (Blackwell)NVLink 6 (Rubin)
typische Domain im Server8 GPUs8 GPUs8 GPUs
größere Domainbis 256 GPUs über externe NVLink-Switches, selten genutzt72 GPUs im Rack72 GPUs im Rack
Gesamtbandbreite der Domain7,2 TB/s (8 GPUs)130 TB/s (72 GPUs)260 TB/s (72 GPUs)

Ein NVSwitch-5-Chip hat 144 NVLink-Ports mit zusammen 14,4 TB/s. Im NVL72-Rack verbinden neun Switch-Trays mit je zwei solchen Chips alle 72 GPUs über eine Kupfer-Backplane. Für Blackwell nennt Nvidia als Obergrenze 576 GPUs in einer NVLink-Domain über mehrere Racks; in der Praxis endet die Domain meist am Rack.

NVLink-C2C (Chip-to-Chip) ist die Variante für kurze Wege auf demselben Board oder Package. Sie koppelt Nvidias eigene Arm-CPUs speicherkohärent mit den GPUs: Grace mit Hopper oder Blackwell mit 900 GB/s, Vera mit Rubin mit 1,8 TB/s. Die CPU kann damit direkt auf den GPU-Speicher zugreifen und umgekehrt; der Arbeitsspeicher der CPU wird zur Erweiterung des GPU-Speichers.

Bis 2025 gab es NVLink nur in Nvidia-Chips. Mit NVLink Fusion (vorgestellt im Mai 2025) lizenziert Nvidia die NVLink-Schnittstelle an andere Hersteller. Zwei Wege sind vorgesehen:

  • Eigene CPU an Nvidia-GPUs: Ein Hersteller baut NVLink-C2C in seinen Prozessor ein und koppelt ihn an Nvidia-GPUs. Fujitsu und Qualcomm haben das angekündigt.
  • Eigener Beschleuniger in der NVLink-Fabric: Ein Custom-Chip (XPU) bekommt NVLink-Ports und hängt an NVSwitch und Nvidia-CPUs. AWS hat das für Trainium4 angekündigt.

NVLink bleibt dabei proprietär: Nvidia gibt keine Spezifikation frei, sondern lizenziert IP-Blöcke, und NVSwitch bleibt Nvidia-Hardware. Die Lizenzbedingungen sind nicht öffentlich.

UALink (Ultra Accelerator Link) ist ein offener Industriestandard für denselben Zweck, getragen von einem Konsortium um AMD, Intel und weitere Hersteller. Der Unterschied liegt weniger in der Technik als im Modell:

NVLinkUALink
Spezifikationproprietär, Nvidiaoffen, UALink Consortium
Switchesnur Nvidia (NVSwitch)mehrere Hersteller vorgesehen
Fremde Chipsüber Lizenz (NVLink Fusion)Ziel des Standards
Verfügbarkeitseit 2016 im Einsatzerste Produkte im Aufbau

Abgrenzung

  • PCIe: der Standardbus im Server für Netzwerkkarten, SSDs und GPUs. NVLink ersetzt PCIe nicht, sondern ergänzt es für die GPU-zu-GPU-Kommunikation; die GPU hängt zusätzlich am PCIe-Bus.
  • NVLink-Brücke bei Grafikkarten: Bei einzelnen Workstation- und Gaming-Karten verband eine steckbare Brücke zwei Karten. Mit der GeForce RTX 3090 endete NVLink im Consumer-Bereich; mit der Brücke für SLI-Spiele hat NVLink im Rechenzentrum nur den Namen gemeinsam.
  • InfiniBand und RoCE: verbinden Server über Netzwerkkarten und Switches (Scale-out). NVLink verbindet GPUs direkt innerhalb einer Domain (Scale-up).

Weblinks

Erstellt: