KI-Rechenzentrum

Ein KI-Rechenzentrum ist eine Anlage, die auf das Trainieren und Ausführen großer neuronaler Netze ausgelegt ist. Äußerlich steht dort dasselbe wie anderswo — Racks, Kühlung, Stromversorgung —, in jeder einzelnen Größenordnung aber verschoben.

Leistungsdichte

Der auffälligste Unterschied. Ein klassisches Rack im Colocation-Betrieb zieht wenige Kilowatt, ein gut ausgelastetes zweistellig. Ein Rack voller Beschleuniger für KI-Berechnungen liegt beim Vielfachen davon.

Damit fällt die Luftkühlung aus. Nicht, weil sie zu teuer wäre, sondern weil sich die Wärme bei dieser Dichte mit Luft nicht mehr abführen lässt — der Volumenstrom, den man dafür bräuchte, ist in einem Raum nicht unterzubringen. An die Stelle tritt Wasserkühlung direkt am Chip oder Immersionskühlung.

Die Folge reicht bis in die Statik: Wassergekühlte Racks sind schwer, und ein Boden, der für drei Tonnen ausgelegt wurde, trägt sie nicht.

Das Netz steht quer

In einem gewöhnlichen Rechenzentrum fließt der Verkehr überwiegend zwischen Server und Außenwelt. Beim Training fließt er zwischen den Servern.

Ein Modell, das auf tausenden Beschleunigern gleichzeitig trainiert wird, muss nach jedem Rechenschritt Zwischenergebnisse abgleichen. Alle warten, bis der Letzte fertig ist. Die langsamste Verbindung bestimmt damit das Tempo der gesamten Anlage, und Wartezeit auf dem Netz ist unmittelbar verlorene Rechenzeit an sehr teurer Hardware.

Daraus folgen Anforderungen, die ein Büronetz nie stellt:

• Verlustfreiheit. Ein verworfenes Paket wird nicht einfach neu gesendet, es hält den ganzen Verbund auf. Deshalb kommen RDMA und RoCEv2 zum Einsatz, die den Hauptprozessor umgehen, und darunter Verfahren, die Verluste von vornherein vermeiden.
• Gleichmäßigkeit. Nicht der Durchschnitt zählt, sondern der schlechteste Fall — dieselbe Logik wie beim Feldbus, nur in anderer Größenordnung.
• Eigene Topologien. Scale-up-Fabrics verbinden die Beschleuniger innerhalb eines Knotens, Scale-out-Fabrics die Knoten untereinander.

Technisch stehen sich InfiniBand und Ethernet gegenüber. InfiniBand war lange gesetzt, Ultra Ethernet tritt als offene Alternative an.

Verfügbarkeit bedeutet etwas anderes

Ein klassisches Rechenzentrum ist darauf ausgelegt, dass einzelne Ausfälle niemanden stören. Beim Training ist das Gegenteil der Fall: Fällt ein einziger Knoten aus, steht der Lauf.

Deshalb arbeitet man mit Checkpoints — Zwischenständen, die regelmäßig weggeschrieben werden, damit nach einem Ausfall nicht von vorn begonnen werden muss. Das Wegschreiben selbst kostet Zeit und erzeugt Last auf den Speichersystemen, und der richtige Abstand zwischen zwei Checkpoints ist eine Abwägung zwischen laufenden Kosten und möglichem Verlust.

Die Verfügbarkeit der Anlage wird damit weniger über doppelte Netzteile erreicht als über die Fähigkeit, einen Ausfall schnell zu überbrücken und weiterzurechnen.

Training und Inferenz sind verschiedene Dinge

Training verbraucht viel Leistung über Wochen, läuft im Verbund und verträgt Entfernung zum Nutzer — es ist egal, ob das Rechenzentrum in der Lausitz steht oder in Frankfurt.

Inferenz, also der laufende Betrieb des fertigen Modells, hat die umgekehrten Anforderungen: Jede Anfrage soll schnell beantwortet werden, die Last schwankt, und die Entfernung zum Nutzer zählt. Inferenz wandert deshalb in bestehende Rechenzentren und an den Rand des Netzes.

Wer von KI-Rechenzentren spricht, meint meist die Trainingsanlagen — und die erklären, warum die neuen Großprojekte dort entstehen, wo sie entstehen.

Standortwahl folgt dem Netzanschluss

Weil Training keine Nähe zum Nutzer braucht, fällt die klassische Begründung für Ballungsraumlagen weg. Übrig bleibt die Frage, wo mehrere hundert Megawatt verfügbar sind.

Das verschiebt den Rechenzentrumsbau in Regionen, die bisher keine Rolle spielten: stillgelegte Kraftwerksstandorte mit vorhandenem Netzanschluss, Gegenden mit viel Windstrom, Flächen abseits der Städte. Welche Vorhaben das in Deutschland sind, führt das Rechenzentrums-Verzeichnis nach Bundesländern auf.

Abgrenzung

Hochleistungsrechnen (HPC) stellt ähnliche Anforderungen an das Netz und nutzt teils dieselbe Technik, zielt aber auf andere Aufgaben — Simulation und numerische Verfahren statt Modelltraining. Die Grenze verwischt zunehmend.

Cloud-Rechenzentren der großen Anbieter enthalten KI-Abschnitte, sind aber im Übrigen für gemischte Lasten gebaut. Ein reines KI-Rechenzentrum ist auf eine einzige Betriebsart hin optimiert, und das macht es in jeder anderen Hinsicht unflexibel.