Spine-Leaf-Architektur
Die Spine-Leaf-Architektur ist der heute übliche Aufbau von Netzen in Rechenzentren. Sie besteht aus zwei Ebenen von Switches: Leaf-Switches, an denen die Server hängen, und Spine-Switches, die alle Leaf-Switches miteinander verbinden. Jeder Leaf ist mit jedem Spine verbunden. Leafs untereinander und Spines untereinander sind nicht verbunden.
Die Namen kommen aus dem Bild eines Blattes: Die Blätter (Leaf) hängen an den Rippen, die Rippen am Rückgrat (Spine).
Aufbau
| Ebene | Aufgabe | Typischer Standort |
|---|---|---|
| Leaf | Anschluss von Servern, Speichersystemen, Firewalls, Routern zur Außenwelt | im Rack (Top of Rack) oder am Ende der Rackreihe |
| Spine | verbindet alle Leafs, keine Endgeräte | zentral in der Data Hall |
Daraus folgt die wichtigste Eigenschaft: Zwischen zwei Servern an verschiedenen Leafs liegen immer genau drei Switches — Leaf, Spine, Leaf. Die Verzögerung ist damit vorhersehbar und für alle Verbindungen gleich.
Lastverteilung
Weil jeder Leaf über jeden Spine jeden anderen Leaf erreicht, gibt es so viele gleichwertige Wege wie Spines. Der Verkehr wird über alle Wege verteilt (Equal-Cost Multi-Path, ECMP). Fällt ein Spine aus, verliert das Netz einen Teil seiner Kapazität, aber keine Verbindung.
Dafür arbeiten die Verbindungen zwischen Leaf und Spine meist auf Ebene 3, also geroutet. Das Spanning Tree Protocol, das in klassischen Netzen Schleifen verhindert, indem es Leitungen abschaltet, ist dort überflüssig. Alle Leitungen tragen Verkehr.
Warum nicht mehr dreistufig
Klassische Rechenzentrumsnetze waren dreistufig aufgebaut:
| Dreistufig | Spine-Leaf | |
|---|---|---|
| Ebenen | Access, Aggregation, Core | Leaf, Spine |
| Optimiert für | Verkehr zwischen Servern und Außenwelt (Nord-Süd) | Verkehr zwischen Servern (Ost-West) |
| Wege zwischen zwei Servern | unterschiedlich lang | immer gleich lang |
| Redundanz | Spanning Tree schaltet Leitungen ab | alle Leitungen aktiv |
| Wachstum | Austausch der oberen Ebenen | weitere Leafs und Spines dazu |
Der Grund für den Wechsel ist das Verkehrsmuster. Früher lief der meiste Verkehr von Nutzern zu einem Server und zurück. Heute sprechen Anwendungen aus vielen Diensten, virtuelle Maschinen, Container und Speichersysteme vor allem miteinander. Dieser Ost-West-Verkehr überwiegt in vielen Rechenzentren deutlich.
Skalierung und Überbuchung
Das Netz wächst in zwei Richtungen: mehr Leafs für mehr Server, mehr Spines für mehr Bandbreite zwischen den Leafs. Die Grenze setzt die Zahl der Anschlüsse am Spine — sie bestimmt, wie viele Leafs möglich sind. Für sehr große Netze kommt eine dritte Ebene über den Spines hinzu (Super-Spine).
Ein Kennwert ist die Überbuchung (Oversubscription): das Verhältnis der Bandbreite zu den Servern zur Bandbreite in Richtung Spine. Ein Leaf mit 48 Anschlüssen zu 25 Gbit/s und 6 Verbindungen zu 100 Gbit/s zu den Spines hat 1.200 zu 600 Gbit/s, also 2 : 1. Für Speichernetze und KI-Cluster wird oft 1 : 1 angestrebt, also gar keine Überbuchung.
Top of Rack und End of Row
| Anordnung | Prinzip | Vorteil | Nachteil |
|---|---|---|---|
| Top of Rack (ToR) | ein oder zwei Leaf-Switches in jedem Rack | kurze Kabel zu den Servern, Racks einzeln vorkonfektionierbar | viele Switches, ungenutzte Ports in schwach belegten Racks |
| End of Row (EoR) | Leafs in einem Rack am Ende jeder Reihe | weniger Switches, bessere Auslastung | lange Kabel zu jedem Server, aufwendige Verkabelung |
| Middle of Row (MoR) | wie End of Row, aber in der Mitte der Reihe | kürzere Kabelwege als EoR | wie EoR |
Top of Rack ist heute die Regel. Server werden meist an zwei Leafs gleichzeitig angeschlossen, damit der Ausfall eines Switches den Server nicht vom Netz trennt.
Overlay-Netze
Ein geroutetes Spine-Leaf-Netz kennt zunächst keine VLANs, die sich über mehrere Racks erstrecken. Viele Anwendungen und die Live-Migration virtueller Maschinen brauchen aber genau das. Die Lösung sind Overlay-Netze: Verkehr wird mit VXLAN in IP-Pakete verpackt und über das geroutete Netz transportiert, gesteuert über das Protokoll BGP EVPN. Für die Server sieht es aus wie ein durchgehendes Netz, darunter liegt die geroutete Spine-Leaf-Struktur.
Herkunft
Das Prinzip geht auf Charles Clos zurück, der 1953 bei den Bell Labs mehrstufige Koppelnetze für Telefonvermittlungen beschrieb. Spine-Leaf ist eine Form dieses Clos-Netzes, übertragen auf paketvermittelte Netze.