Ultra Ethernet
Abkürzung: UET
Ultra Ethernet ist ein offener Kommunikationsstack des Ultra Ethernet Consortium für KI- und HPC-Fabrics mit neuem RDMA-Transport über UDP/IP.
Herkunft
Das Ultra Ethernet Consortium (UEC) wurde im Juli 2023 unter dem Dach der Linux Foundation gegründet. Gründungsmitglieder waren AMD, Arista, Broadcom, Cisco, Eviden, HPE, Intel, Meta und Microsoft. Anlass war die Erkenntnis, dass RoCEv2 in Fabrics mit Zehntausenden Beschleunigern an Grenzen stößt: Abhängigkeit von PFC, Go-Back-N-Neuübertragung, ein Pfad pro Verbindung, keine eingebaute Sicherheit und aufwendiger Verbindungsaufbau. Die Alternative InfiniBand ist faktisch an einen Hersteller gebunden.
Die Ultra Ethernet Specification 1.0 erschien am 11. Juni 2025. Es folgten 1.0.1 (5. September 2025) und 1.0.2 (28. Januar 2026, Korrekturen an den Congestion-Control-Algorithmen). Die Spezifikation ist frei verfügbar.
Schichtenmodell
Ultra Ethernet ersetzt Ethernet nicht, sondern definiert Ergänzungen auf jeder Schicht. Nur die Transportschicht ist vollständig neu.
- Software: libfabric 2.0 als API mit UET-Erweiterungen. Anwendungen und Kommunikationsbibliotheken (MPI, Collective Communication Libraries) greifen darüber zu.
- Transport: Ultra Ethernet Transport (UET) mit vier Teilschichten, siehe unten.
- Netzwerk: unverändert IPv4/IPv6 mit DSCP und ECN. Optional Packet Trimming: Ein überlasteter Switch verwirft nicht das ganze Paket, sondern kürzt es auf den Header und leitet diesen mit hoher Priorität weiter, sodass der Empfänger den Verlust sofort erkennt.
- Link: optional Link Layer Retry (LLR) für Neuübertragung pro Hop und Credit-Based Flow Control (CBFC) als Alternative zu PFC; Aushandlung per LLDP.
- Physik: IEEE-802.3-konform, ergänzt um FEC-Statistiken zur Linküberwachung.
Die Link- und Physik-Erweiterungen sind optional. Ein UET-Endpunkt läuft auch über gewöhnliche, verlustbehaftete Ethernet-Switches.
Ultra Ethernet Transport
UET ist verbindungslos, setzt auf UDP/IP auf und gliedert sich in vier Teilschichten:
- Semantics Sublayer (SES): setzt libfabric-Operationen (Send, RMA Write/Read, Atomics) in Nachrichten um und führt sie am Ziel aus.
- Packet Delivery Sublayer (PDS): zerlegt Nachrichten in Pakete und stellt sie zu. Vier Zustellklassen: Reliable Ordered Delivery (ROD), Reliable Unordered Delivery (RUD), Reliable Unordered Delivery for Idempotent Operations (RUDI) und Unreliable Unordered Delivery (UUD).
- Congestion Management Sublayer (CMS): senderseitige Regelung (NSCC, Network Signaled Congestion Control) und optional empfängerseitige Kreditvergabe (RCCC, Receiver Credit-based Congestion Control) gegen Incast.
- Transport Security Sublayer (TSS): Verschlüsselung und Authentisierung von PDS, SES und Nutzdaten, gruppenbasierte Schlüsselverwaltung, Schutz gegen Replay- und Spoofing-Angriffe.
Kernkonzept ist Packet Spraying: Ein Entropiewert im Header steuert pro Paket, welchen ECMP-Pfad der Switch wählt. Eine einzelne Nachricht nutzt damit alle Pfade zum Ziel gleichzeitig. Die Pakete kommen ungeordnet an, der Empfänger setzt sie zusammen; nur die Nachricht wird in Reihenfolge abgeschlossen. Verlorene Pakete werden einzeln neu gesendet, nicht wie bei RoCEv2 alles ab dem Verlust.
Verbindungen entstehen kurzlebig beim ersten Paket (Ephemeral Packet Delivery Contexts) und werden nach Gebrauch abgebaut. Damit entfällt der Zustand pro Peer, den RoCEv2-Queue-Pairs in großen Fabrics erzeugen. Die Spezifikation nennt als Ziel Fabrics mit über einer Million Endpunkten.
Profile
Die Spezifikation definiert drei Profile, die den Funktionsumfang eines Endpunkts festlegen:
- AI Base: minimaler Umfang für KI-Training und -Inferenz
- AI Full: AI Base plus erweiterte Funktionen wie Deferrable Sends
- HPC: vollständiger Umfang inklusive Tagged Messaging und Rendezvous für MPI
Abgrenzung
| RoCEv2 | InfiniBand | Ultra Ethernet | |
|---|---|---|---|
| Transport | IBTA, über UDP 4791 | IBTA, nativ | UET, über UDP |
| API | Verbs | Verbs | libfabric |
| Verlustfreies Netz | erforderlich (PFC/ECN) | eingebaut (Kredite) | optional (CBFC) |
| Multipath | ein Pfad pro QP | SM-Routing | Packet Spraying pro Paket |
| Neuübertragung | Go-Back-N | Go-Back-N | selektiv |
| Sicherheit | extern (IPsec, MACsec) | extern | integriert (TSS) |
| Herstellerbasis | mehrere | ein Hersteller (Nvidia) | mehrere |
Ultra Ethernet ist nicht abwärtskompatibel zu RoCEv2. Beide können auf derselben Ethernet-Fabric koexistieren, da UET normale UDP/IP-Pakete erzeugt.
Stand
Erste UET-fähige Netzwerkkarten und Switches wurden 2025 angekündigt; Interoperabilitätstests für LLR und CBFC bei 800 GbE wurden Anfang 2026 öffentlich gezeigt. Ein Compliance-Programm des UEC läuft. Für Scale-up-Netze innerhalb eines Racks (GPU-zu-GPU) ist Ultra Ethernet nicht vorgesehen; dafür entstehen mit UALink und ESUN eigene Standards.
Normen und Quellen
- Ultra Ethernet Consortium: Ultra Ethernet Specification 1.0.2 (28. Januar 2026) mit Release Notes, ultraethernet.org
- Ultra Ethernet Consortium: UEC 1.0 Overview White Paper (2023)
- Ultra Ethernet Consortium: Pressemitteilung zur Spezifikation 1.0, 11. Juni 2025
- OpenFabrics Alliance: libfabric 2.0, ofiwg.github.io/libfabric
- IEEE 802.1AB (LLDP), RFC 3168 (ECN)
- Hoefler et al.: Ultra Ethernet's Design Principles and Architectural Innovations, arXiv 2508.08906 (2025)