Scale-up-Fabric

Die Scale-up-Fabric koppelt die Beschleuniger (GPUs) eines Servers oder Pods mit Speichersemantik zu einer Domäne; Beispiele sind NVLink und UALink.

Einordnung

KI-Cluster trennen zwei Netze: Die Scale-up-Fabric verbindet GPUs innerhalb eines Pods so eng, dass sie wie ein gemeinsamer Speicherbereich erscheinen. Die Scale-out-Fabric verbindet Server und Pods untereinander über RDMA. Beide unterscheiden sich in Reichweite, Bandbreite und vor allem in der Semantik des Zugriffs.

Speichersemantik

Ein Zugriff auf den Speicher einer anderen GPU ist in der Scale-up-Fabric ein Lade- oder Speicherbefehl, keine Nachricht. Es gibt keinen Verbindungsaufbau, keine Queue Pairs und keine Zerlegung in Pakete auf Anwendungsebene; der Beschleuniger adressiert entfernten Speicher wie lokalen. Atomare Operationen laufen direkt im Zielspeicher ab.

Diese Semantik ist Voraussetzung für Parallelisierungsformen, bei denen GPUs pro Rechenschritt Daten austauschen: Tensor-Parallelismus verteilt einzelne Matrixoperationen über mehrere GPUs, Expert-Parallelismus verteilt die Experten eines Mixture-of-Experts-Modells. Beides erfordert Latenzen im Bereich weniger hundert Nanosekunden und Bandbreiten, die das Scale-out-Netz um eine Größenordnung übersteigen.

Reichweite

Die Scale-up-Domäne endet am Pod. Bei NVIDIA Blackwell stellt NVLink 5 pro GPU 1,8 TB/s bereit; ein NVLink-Switch verbindet im GB200-NVL72-Rack 72 GPUs zu einer Domäne (Herstellerangaben). Was über den Pod hinausgeht, läuft über die Scale-out-Fabric mit anderen Parallelisierungsformen.

Die Größe der Scale-up-Domäne ist damit eine Architekturentscheidung des Beschleunigerherstellers und mit dessen Wahl meist vorgegeben – anders als der Scale-out-Transport, der frei gewählt werden kann.

Offene Standards

Scale-up war lange herstellergebunden: NVLink (NVIDIA) und Infinity Fabric (AMD) sind proprietär. Seit 2024 entstehen offene Alternativen:

UALink (Ultra Accelerator Link): Das UALink-Konsortium wurde im Oktober 2024 gegründet; Promoter sind Alibaba, AMD, Apple, Astera Labs, AWS, Cisco, Google, HPE, Intel, Meta, Microsoft und Synopsys. Die Spezifikation UALink 200G 1.0 (April 2025) definiert 200 Gb/s pro Lane, Links mit 1, 2 oder 4 Lanes und bis zu 1.024 Beschleuniger pro Pod. Vierschichtiger Stack: Ethernet-PHY, Data Link mit festen Flits und Link-Level-Retry, Transaction Layer mit komprimierter Adressierung, Protocol Layer mit Speichersemantik (Read, Write, Atomics). UALink-Switches routen nach Beschleuniger-ID und unterstützen Virtual Pods und Verschlüsselung (UALinkSec). Kabel, Stecker und Retimer stammen aus dem Ethernet-Ökosystem.
ESUN (Ethernet for Scale-Up Networking): Arbeitsgruppe des Open Compute Project, die Ethernet-basierte Scale-up-Netze koordiniert – Header-Effizienz, Link-Level-Retry, kreditbasierte Flusskontrolle – in Abstimmung mit UEC und IEEE 802.3.
SUE (Scale-Up Ethernet): Broadcom-Rahmenwerk für Scale-up über Ethernet-Switches, in ESUN eingebracht.
NVLink Fusion: von NVIDIA 2025 angekündigte Öffnung von NVLink für fremde CPUs und Beschleuniger, kein Konsortialstandard.

UALink und Ethernet-basierte Scale-up-Ansätze konkurrieren nicht mit Ultra Ethernet, sondern ergänzen es: Ultra Ethernet adressiert ausschließlich Scale-out.

Normen und Quellen

UALink Consortium: UALink 200G 1.0 Specification (April 2025) und White Paper "Introducing UALink 200G 1.0 Specification", ualinkconsortium.org
Open Compute Project: ESUN Workstream, opencompute.org
NVIDIA: GB200 NVL72 Datenblatt und NVLink-Dokumentation, nvidia.com (Herstellerangaben)