RDMA over Converged Ethernet v2

Abkürzung: RoCEv2

Was ist RoCEv2?

RoCEv2 steht für RDMA over Converged Ethernet Version 2. Es ist ein Netzwerkprotokoll, das direkte Speicherzugriffe (RDMA) über routbare IP-Netzwerke erlaubt. Server greifen damit ohne Umweg über den Kernel auf den Arbeitsspeicher eines entfernten Rechners zu. Die Version 2 kapselt RDMA-Transport in UDP/IP und ist dadurch netzwerkweit einsetzbar.

Warum RDMA?

Klassische TCP/IP-Kommunikation kopiert Daten mehrfach und beansprucht die CPU. RDMA umgeht diesen Overhead vollständig. Die Netzwerkkarte schreibt empfangene Daten direkt in den Zielspeicher der Anwendung. Das senkt Latenzen auf wenige Mikrosekunden, entlastet den Prozessor und steigert den Durchsatz. Storage-Zugriffe, Hochleistungsdatenbanken und KI-Cluster profitieren unmittelbar.

Von InfiniBand über RoCEv1 zu RoCEv2

RDMA stammt aus der InfiniBand-Welt. InfiniBand liefert extrem niedrige Latenz, benötigt aber eigene Switches und Kabel. RoCEv1 brachte RDMA erstmals auf Standard-Ethernet, blieb jedoch auf ein einziges Layer-2-Segment beschränkt. RoCEv2 setzt auf UDP/IP und hebt diese Einschränkung auf. Es verbindet die Leistung von RDMA mit der Routing-Fähigkeit und Flexibilität bestehender IP-Netze.

Protokollstapel und Verkapselung

RoCEv2 verpackt den InfiniBand-Transport in ein UDP-Paket mit reserviertem Zielport. Ein Base Transport Header bleibt erhalten und trägt die RDMA-Semantik. Weil IP als Vermittlungsschicht dient, funktioniert RoCEv2 über Subnetzgrenzen hinweg. Vorhandene Layer-3-Infrastrukturen lassen sich weitgehend unverändert nutzen.

Voraussetzung: Verlustfreies Ethernet

RDMA erwartet ein nahezu fehlerfreies Netz. Jeder Paketverlust erzwingt eine teure Wiederholung und zerstört die Latenzvorteile. RoCEv2 setzt deshalb ein verlustfreies Ethernet mit zwei Mechanismen voraus: Priority Flow Control (PFC) pausiert den Datenstrom auf einer Prioritätsklasse, bevor Switch-Puffer überlaufen. Explicit Congestion Notification (ECN) markiert Pakete bei beginnender Überlast, sodass der Sender die Rate frühzeitig drosselt. Ohne diese Verfahren kommt es zu Head-of-Line-Blockierungen und massiven Einbußen.

Netzwerkanforderungen und Konfiguration

Ein RoCEv2-fähiges Netz benötigt Data-Center-Bridging-Switches und RDMA-taugliche Netzwerkkarten. Administratoren müssen PFC-Prioritäten, Buffer-Größen und ECN-Markierungsschwellen sorgfältig abstimmen. Falsche Einstellungen führen zu Leistungseinbrüchen. In gut konfigurierten Umgebungen erreicht RoCEv2 ähnliche Werte wie InfiniBand, jedoch auf günstigerer und weit verbreiteter Ethernet-Hardware.

Typische Einsatzfelder

Das Protokoll kommt überall dort zum Einsatz, wo Latenz und Durchsatz kritisch sind: NVMe over Fabrics, verteilte Dateisysteme, GPU-Cluster für Machine Learning, In-Memory-Datenbanken und Echtzeitanalysen. Auch Storage-Appliances nutzen RoCEv2 für blockbasierte Zugriffe.

RoCEv2, iWARP und InfiniBand im Vergleich

iWARP verpackt RDMA in TCP, toleriert daher verlustbehaftete Netze, zahlt dafür aber mit höherer CPU-Last und Latenz. InfiniBand bleibt das Maß der Dinge bei absoluter Spitzenleistung, erzwingt jedoch eine eigenständige teure Infrastruktur. RoCEv2 positioniert sich als ausgewogener Kompromiss: RDMA-Leistung auf Standard-Ethernet mit moderatem Zusatzaufwand für das Lossless-Tuning.

Ausblick

Mit Ethernet-Geschwindigkeiten von 400 Gbit/s und 800 Gbit/s wächst die Bedeutung von RoCEv2 in Rechenzentren. Große Switch- und Adapterhersteller unterstützen den Standard umfassend. Das Protokoll etabliert sich als Bindeglied zwischen skalierbaren IP-Netzen und den extremen Anforderungen moderner datenintensiver Anwendungen.