KI
Diese Kategorie behandelt die Netzwerkinfrastruktur von KI-Trainings- und Inferenz-Clustern – nicht KI-Modelle oder Anwendungen.
Ein GPU-Cluster nutzt drei Netze: die Scale-up-Fabric zwischen den Beschleunigern eines Pods (NVLink, UALink), die Scale-out-Fabric zwischen Servern und Pods (InfiniBand, RoCEv2, Ultra Ethernet) und ein Frontend-Netz für Storage und Management.
Die Artikel erklären die RDMA-Transporte, die Verfahren für verlustfreies Ethernet (PFC, ECN, DCQCN), die Topologien und die Standards der beteiligten Gremien IBTA, UEC und UALink-Konsortium.
- Data Center Quantized Congestion Notification (DCQCN) DCQCN ist das verbreitete Stauregelungsverfahren für RoCEv2: Es kombiniert ECN-Markierung im Switch mit Ratenregelung in der Netzwerkkarte.
- Infiniband InfiniBand ist ein verlustfreier Interconnect mit eigenem Protokollstack für HPC- und KI-Cluster, spezifiziert von der IBTA seit 1999.
- Priority-based Flow Control (PFC) PFC ist eine Ethernet-Flusskontrolle nach IEEE 802.1Q, die einzelne Prioritätsklassen eines Links pausiert und so verlustfreie Übertragung ermöglicht.
- Rail-optimized Topology Rail-optimized Topology ist die Standardverkabelung für GPU-Cluster: Jede GPU eines Servers hängt an einem eigenen Leaf-Switch, dem Rail.
- RDMA over Converged Ethernet v2 (RoCEv2) RDMA over Converged Ethernet, kurz RoCE, ist ein Netzwerkprotokoll, das direkte Speicherzugriffe (RDMA) über Ethernet-Netzwerke ermöglicht.
- Remote Direct Memory Access (RDMA) RDMA erlaubt Speicherzugriff zwischen Rechnern ohne Beteiligung der CPU und bildet die Grundlage von InfiniBand, RoCEv2, iWARP und Ultra Ethernet.
- Scale-out-Fabric Die Scale-out-Fabric verbindet Server und Pods eines KI-Clusters über RDMA; Transporte sind InfiniBand, RoCEv2 und Ultra Ethernet.
- Scale-up-Fabric Die Scale-up-Fabric koppelt die Beschleuniger eines Servers oder Pods mit Speichersemantik zu einer Domäne; Beispiele sind NVLink und UALink.
- Ultra Accelerator Link (UALink) UALink ist ein offener Scale-up-Interconnect des UALink-Konsortiums mit Speichersemantik für bis zu 1.024 Beschleuniger pro Pod bei 200 Gb/s pro Lane.
- Ultra Ethernet (UET) Ultra Ethernet ist ein offener Kommunikationsstack des Ultra Ethernet Consortium für KI- und HPC-Fabrics mit neuem RDMA-Transport über UDP/IP.