Von: Christoph Lange
Speichernetzen gehört die Zukunft. Laut Gartner Dataquest dürfte insbesondere die Nachfrage nach Fibre-Channel-Switches (FC) der Direktoren-Klasse schon bald ansteigen, weil große Storage Area Networks (SAN) mit mehreren hundert Ports in den kommenden Jahren den höchsten Zuwachs haben werden. Diese Wachstumsaussichten ziehen immer mehr Hersteller in den Bann. Noch vor etwa einem Jahr boten lediglich zwei Hersteller Direktoren an: McData und Inrange. Bezogen auf die verkauften Ports führte im vergangenen Jahr McData nach Angaben von IDC klar mit über 90 Prozent. Inrange beziffert seinen Marktanteil bezogen auf den Umsatz dagegen auf rund 20 Prozent. Vor einigen Monaten ist Brocade hinzugekommen, und versucht, mit dem "Silkworm 12 000" im Direktoren-Markt Fuß zu fassen. Bei den kleineren Fabric-Switches ist Brocade Markführer und zeichnet für vier von fünf verkauften FC-Ports verantwortlich.
Cisco hat ebenfalls bereits seit geraumer Zeit ein Auge auf den Storage-Markt geworfen und in den vergangenen Monaten mit dem iSCSI-Router "SN 5420" und dem Gateway-Switch "SN 5428" eine erste Duftmarke gesetzt. Dass Cisco ernsthafte Pläne verfolgt, war seit dem Investment in das Startup-Unternehmen Andiamo Systems Anfang 2001 klar. Die große Frage blieb, ob Cisco mit kleineren Fabric-Switches einsteigen wird, oder gleich die Direktoren-Hersteller angreift. Vor zwei Wochen wurde der Schleier endlich gelüftet: Cisco stellte die multiprotokollfähige "MDS-9000"-Familie vor, zu der gleich drei Systeme der Direktoren-Klasse zählen. Als Einstiegsmodell bietet Cisco einen 16-Port-FC-Switch an, der sich über einen Erweiterungsslot auf 32 oder 48 Ports ausbauen lässt (siehe Titelgeschichte).
Auch McData wird in Kürze einen neuen Direktor auf den Markt bringen. Das derzeitige Flaggschiff, der 64-Port-Direktor "Intrepid 6064", bekommt im Herbst einen großen 140-Port-Bruder. Bei den Fabric-Switches hat McData ein 16- und 32-Port-Produkt im Portfolio, wird aber auch hier bald ein neues Gerät auf den Markt bringen.
In punkto Port-Anzahl führte bislang Inrange mit dem 256-Port-Direktor "FC/9000" das Feld an. Ein 512-Port-System findet sich bereits auf der Roadmap. Der Markt der kleineren Fabric-Switches ist für Inrange aufgrund des starken Preiskampfes kein Thema, der Fokus liegt klar auf den Top-500-Unternehmen. Benötigt ein Kunde Edge-Switches, kommen Geräte von Qlogic zum Einsatz.
Bei großen Unternehmen ist Ficon-Support ein wichtiges Thema, da viele Mainframe-Kunden derzeit von Escon auf Ficon migrieren. Sowohl Inrange als auch McData unterstützen den Mischbetrieb von Ficon- und FC-Ports sowie Ficon-Kaskadierung, eine für die Standortkopplung wichtige Funktion, sobald sie von IBM offiziell freigegeben wird. Brocade will ebenfalls in diesen Markt. Der Silkworm 12 000 ist laut Hersteller bereits vollständig Ficon-kompatibel. Der Ficon-Support wird durch ein künftiges Software-Upgrade verfügbar werden. Die Multiprotokoll-Architektur der MDS-Familie von Cisco erlaubt ebenfalls eine Unterstützung von Ficon. Cisco prüft derzeit, ob Ficon implementiert werden soll.
Neben einem hohen Datendurchsatz müssen Direktoren auch Ausfallsicherheit garantieren. Firmware-Updates und die Aktivierung der neuen Software sollten sich im laufenden Betrieb durchführen lassen. McData und Inrange können dies, die MDS-9500-Systeme sollen es nach Angaben von Cisco ebenfalls beherrschen.
Das Software-Update erfolgt bei Brocade durch ein Failover des aktiven Kontrollprozessors auf das Standby-Modul, auf dem zuvor die neue Software eingespielt und per Reboot aktiviert wurde. Bislang müssen sich bei einem Failover die angeschlossenen Systeme neu einloggen, was etwa 20 bis 30 Sekunden dauert. Die anderen Direktoren dagegen beherrschen einen unterbrechungsfreien "Stateful Failover". Mit dem für Ende dieses Jahres angekündigten Software-Upgrade wird auch der Silkworm 12 000 diese Funktion unterstützen.
Der Ausfall eines Links ist für die Systeme kein Problem, da automatisch ein Re-Routing erfolgt. Sollte die ganze Fabric ausfallen, müssen zusätzliche Funktionen wie eine in den Server- und Storage-Host-Bus-Adaptern implementierte Multipathing-Software das Failover steuern. Zur Standardaustattung der Direktoren zählen redundante Port-Karten, Controller-Module, Lüfter und Netzteile. Alle Komponenten lassen sich im laufenden Betrieb austauschen.
"Intrepid 6064"
Der Blick in das Innenleben der Direktoren zeigt, dass die Hersteller zum Teil sehr unterschiedliche Backplane-Konzepte entwickelt haben, um eine hohe Leistungsfähigkeit zu erreichen. McData setzt im "Intrepid 6064" auf eine zentrale serielle Crossbar-Matrix, die die Daten zwischen allen 64 User-Ports "any-to-any" gleichzeitig transportieren kann. Der Crossbar-Switch ist aus mehreren Multiplexern aufgebaut, die sämtliche In- und Out-Ströme switchen. McData bezeichnet dies als eine Non-Blocking-Architektur, da die Daten gleichzeitig über alle Port-zu-Port-Verbindungen laufen können. Eine zweite Standby-Crossbar führt ein "Stateful Failover" durch, falls das primäre Switch-Board ausfallen sollte. Die serielle Crossbar arbeitet mit 8B/10B-Kodierung und ist deshalb multiprotokollfähig
Der in Kürze verfügbare 140-Port-Direktor, ein 2-GBit/s-System, wird über die serielle Crossbar mit 280 GBit/s (vollduplex 560 GBit/s) eine doppelt so hohe Bandbreite bereitstellen wie das aktuelle 64-Port-System. Der neue Direktor nutzt die bereits im Intrepid 6064 eingesetzte Crossbar- und ASIC-Architektur (Application Specific Integrated Circuit), die bis zu 256 Ports unterstützt. Dabei stellt die Crossbar jedem einzelnen Datenpfad eine Bandbreite von 3,25 GBit/s zur Verfügung. Für das vor der Tür stehende 10-Gigabit-Fibre-Channel sollen sie auf 10 GBit/s aufgebohrt werden können. Im nächsten Jahr will McData auch ein IP-Blade anbieten. Der neue Direktor soll sich in absehbarer Zeit zu einem 420-Port-Cluster ausbauen lassen. Zudem wird McData FC-AL (Arbitrated Loop) unterstützen, womit der bisher für FC-AL-Devices nötige Workgroup-Switch "ES-1000" ausgedient hat.
Prinzipell wäre beim Intrepid 6064 auch ein lokales Switchen zwischen den Ports derselben Karte möglich. McData hat sich jedoch dafür entschieden, immer über die Crossbar zu switchen, weil dadurch der gesamte Direktor eine einheitliche Latenzzeit hat. Dies vereinfacht das Design eines SAN.
Das 140-Port-System verwendet ein anderes Chassis als der Intrepid 6064. Kunden können jedoch die 2-GBit/s-Port-Module aus ihrem bisherigen System im neuen 140-Port-Direktor einsetzen. Für das Trunking von mehreren Inter Switch Links (ISL) zwischen zwei Direktoren setzt McData auf die zum Patent angemeldete Softwarelösung "Open Trunking", die noch in diesem Jahr verfügbar sein soll. Sie basiert auf dem FC-ANSI-Standard und funktioniert deshalb laut McData auch mit den Fibre-Channel-Switches anderer Hersteller. Open Trunking unterstützt pro Trunk einen Durchsatz von 8, 16 oder 80 GBit/s, wobei die einzelnen ISLs unterschiedliche Geschwindigkeiten haben können.
Ein hardwaregestütztes Trunking und Zoning, Quality-of-Service-Funktionen für Traffic-Priorisierung sowie einen LUN-Manager will McData nächstens Jahr bringen. Die SAN-Managment-Software SANavigator ermöglicht bereits heute Software-Zoning für Switches von McData und von Brocade.
"IN-VSN FC/9000"
Inrange kann wie McData auf über 20 Jahre Erfahrung zurückblicken. Besonders stark vertreten ist Inrange im Mainframe-Umfeld mit Escon- und Ficon-Anbindungen. Flaggschiff ist der Direktor "FC/9000" mit bis zu 256 Ports. Auf der Produkt-Roadmap findet sich auch bereits ein 512-Port-Direktor.
Mit dem FC/9000 verfolgte Inrange von vornherein die Philosophie, dass Kunden bei der Migration von 1- auf 2-GBit/s-FC und für die Erweiterung auf 256 Ports das Chassis weiter nutzen können. Das 2-GBit/s-Upgrade erfolgt über einen Austausch der Port- und Switch-Module. Der Nachteil dieses Ansatzes: Der FC/9000 benötigt sehr viel Platz. Die 256-Port-Version ist in zwei Racks untergebracht und setzt sich aus vier 64-Port-Chassis zusammen, die über eine Backplane-Erweiterung "any to any" miteinander gekoppelt sind. Die Chassis-Verbindung hat beim 128-Port-Direktor eine Bandbreite von 256 GBit/s( vollduplex 512 GBit/s), beim 256-Port-System von 512 GBit/s (vollduplex 1 TBit/s). Der 128-Port-Direktor bietet laut Inrange eine interne Gesamtbandbreite von 512 GBit/s, das 256-Port-Modell kommt auf 1 TBit/s.
Die neuen 2-GBit/s-Direktoren werden seit Juli ausgeliefert, die 2-GBit/s-Port-Module sollen Mitte September verfügbar sein. Den bisherigen S4-ASIC von Qlogic hat Inrange durch einen selbst entwickelten abgelöst. Deshalb musste die Software zum Teil portiert, zum Teil neu geschrieben werden. Die Backplane ist laut Inrange bereits für 10-GBit/s-FC vorbereitet.
Die interne Architektur des FC/9000 unterscheidet sich deutlich von McData. Inrange setzt zwar ebenfalls serielle Crossbars mit 8B/10B-Kodierung ein, aber gleich mehrere in einer "Multistage/Centerstage"-Konfiguration. Sie sind über eine passive Backplane miteinander verbunden. Diese von vielen Telcos eingesetzte Architektur lässt sich laut Hersteller besser skalieren als ein Single-Stage-Crossbar-System. McData dagegen kritisiert, dass dieses Second Stage Switching eine statische Konfiguration sei, die nicht flexibel genug reagieren könne.
Beim 2-GBit/s-Direktor hat Inrange die Anzahl der Switch-Module reduziert. Das 1-GBit/s-64-Port-System benötigt inklusive Standby-Modul fünf FSW-Switching-Matrix-Karten. Jetzt sind es nur noch drei der neuen FWI-Module. Sie sind statt mit 16 jetzt mit 32 Duplex-Cross-Connect-Ports ausgestattet.
Die 2-GBit/s-I/O-Module verfügen nun über SFP-Ports (Small Form Factor Pluggable), sind aber nach wie vor so groß wie die alten, da das Chassis dasselbe bleibt. Die Inter-ASIC-Verbindungen auf dem I/O-Blade erlauben auch ein lokales Switching zwischen den Ports. Jede I/O-Karte hat zusätzlich zu den acht User-Ports zwei weitere Ports. Administratoren können diese nutzen, um mithilfe einer Capture Engine den Rx- und Tx-Traffic von einzelnen Ports auszuspiegeln. Inrange bietet hierfür eine eigene Probe und die Monitoring- und Analysesoftware "VSN Performance Vision" an, die von jedem FC-Frame die ersten 64 Byte auslesen kann.
Einen Bedarf für Trunking sieht Inrange bei seinen Kunden bislang nicht. Wenn 10-GBit/s-FC auf den Markt kommt, will aber auch Inrange Hardware-Trunking für die Verbindung von Direktoren anbieten. Der Vorwurf der Konkurrenz, dass beim FC/9000 nicht alle 256 Ports nutzbar seien, trifft laut Inrange für das Fibre-Channel-Modell nicht zu. Richtig ist, dass bei der Ficon-Version nicht 256 sondern "nur" 254 Ports zur Verfügung stehen, weil bei diesem Protokoll zwei Ports als Spare Ports reserviert bleiben müssen.
"Silkworm 12 000"
Einen ganz anderen technischen Weg hat Brocade mit dem Silkworm 12 000 eingeschlagen. Die Entwickler wählten eine verteilte Switching-Architektur, weil sich damit ihrer Meinung nach der für Speichernetze typische One-to-Many-Verkehr am besten transportieren lässt. In der Regel greifen in SANs mehrere Server auf denselben Port eines Storage-Systems zu. Ähnlich sieht die Lastverteilung auch in einem Core-to-Edge-Design aus: Verschiedene Server kommunizieren über einen oder wenige Inter Switch Links (ISL) mit dem zentralen Switch.
Mit dem alten 1-GBit/s-64-Port-Switch "Silkworm 6400" hat das neue 2-GBit/s-System "Silkworm 12 000" keine Gemeinsamkeiten. Es besteht in der 64-Port-Version aus einer einzigen Domäne, zwei redundanten Control-Processor-Modulen und einer multiprotokollfähigen, zentralen, passiven Backplane.
Auf jedem der vier Portmodule sind 16 User-Ports untergebracht. Die 128-Port-Version setzt sich aus zwei 64-Port-Systemen zusammen, die in einem Chassis untergebracht sind. Sie bilden jeweils eine eigene Domäne und können über ISLs miteinander verbunden werden. Auf der Backplane sind bereits die Verbindungen zwischen den beiden Hälften vorhanden, um alle 128 Ports in einer Fabric-Domain zu verwalten. Laut Brocade ist der Silkworm 12 000 für 10-GBit/s-FC vorbereitet. Die Backplane-Links sind darauf ausgelegt, Daten mit einer Geschwindigkeit von mehr als 3,2 GBit/s zu transportieren.
Der Silkworm 12 000 benötigt intern 96 Virtual-Channel-Interconnects, die den zentralen Speicher auf den vier 16-Port-Karten miteinander verbinden. Jede 16-Port-Karte verfügt über eine Bandbreite von 48 GBit/s zur Backplane. Das ist eineinhalb mal so viel wie die maximale Bandbreite des 16-Port-Moduls. Dagegen beträgt die Bandbreite zwischen zwei 16-Port-Karten mit 16 GBit/s nur die Hälfte der thereotisch möglichen Bandbreite von 32 GBit/s.
Brocade begründet dieses Design damit, dass es im praktischen Betrieb von SANs aufgrund des verteilten Datenverkehrs nie zu derartigen Lastszenarien komme. Zudem empfiehlt Brocade, die Initiator- und die Target-Ports zu verteilen, wodurch sichergestellt werde, dass keine Engpässe auftreten.
Ein zentraler Teil des Silkworm 12000 ist die so genannte "Channeled-Central-Memory"-Architektur, die auf einer Shared-Memory-Technik basiert. Der gemeinsam genutzte Speicherbereich ermöglicht es , dass mehrere Server gleichzeitig auf denselben Storage-Port zugreifen können. Dadurch wird auch das so genannte "Head of Line Blocking" vermieden, das laut Brocade bei Crossbar-Architekturen zwangsläufig auftritt. Zudem verteilt die Architektur die Last automatisch über die verschiedenen Switching-Engines.
Die ASICs von Brocade können sowohl zwischen den vier 16-Port-Modulen als auch lokal zwischen den Ports auf einer Karte switchen. Eine Serial-Crossbar-Architektur eignet sich nach Meinung von Brocade für SAN-Umgebungen nicht so gut. Sie biete zwar Vorteile bei statischem One-to-One-Traffic, weil alle Point-to-Point-Verbindungen gleichzeitig übertragen werden können. Bei den in SANs üblichen Many-to-One- oder One-to-Many-Beziehungen müsse sie dagegen laufend ihre Crosspoint Connections umswitchen.
Die von Brocade entwickelten neuen Bloom-ASICs unterstützen Funktionen wie hardwaregesteuertes Trunking und Hardware-Zoning auf Port- und auf WWN-Basis (World Wide Name). Zudem können die ASICs im FC-Header ein Priorisierungs-Bit setzen, womit sich Quality-of-Service-Funktionen implementieren lassen.
Das Hardware-Trunking lässt sich nur mit den 2-GBit/s-Silkworm-Switches nutzen, da es über die neuen ASICs gesteuert wird. Das Multiplexing erfolgt jetzt nicht mehr auf Sequenz- sondern auf Frame-Level und ist dadurch laut Brocade wesentlich effizienter. Ein Trunk kann bis zu vier ISLs mit einer Bandbreite von 8 GBit/s zusammenfassen.
"MDS-9500"-Familie
Cisco bietet seine MDS-9500-Direktoren gleich in drei unterschiedlichen Gehäusen an: den "9506" mit 6 Slots, den "9509" mit 9 und den "9513" mit 13 Einschüben. Mit 768 Ports erzielt der 128-Port-Direktor 9506 die höchste Dichte pro Rack. In einen Schrank passen sechs Systeme. Der 9509 verfügt über bis zu 224 FC-Ports, der 9513 über maximal 256. Von diesen beiden Modellen passen jeweils zwei in ein Rack. Die Verbindung der Direktoren erfolgt über ISLs.
Für die Bestückung mit FC-Ports kann der Anwender zwischen einem 16-Port und einem 32-Port-Blade wählen. Das 16-Port-Modul ist laut Cisco "Non Blocking" und für die Anbindung von Storage sowie für ISLs gedacht. Beim Design der 32-Port-Karte hat Cisco eine 4-zu-1-Oversubcription zu Grunde gelegt. Sie ist für Anwendungen wie Hostanbindungen vorgesehen, die weniger Bandbreite benötigen. Die Bandbreite zwischen Modul und Backplane beträgt 32 GBit/s. Die Switch Fabric ist protokollunabhängig. Das IP-Blade verfügt über acht Ports, von denen sich jeder gleichzeitig für iSCSI und FCIP konfigurieren lässt.
Alle drei Cisco-Direktoren sind mit redundanten Supervisor-Karten erhältlich. Sie arbeiten im Active/Active-Modus und führen ein Load Balancing durch. Für das Switching ist eine im Supervisor-Modul integrierte Crossbar Switch Fabric zuständig, die laut Hersteller eine Bandbreite von 720 GBit/s bietet. Die interne Systembandbreite gibt Cisco mit 1,44 TBit/s an. Jedes Modul soll davon 80 GBit/s (vollduplex 160 GBit/s) nutzen können. Diese Leistung reicht laut Cisco aus, um künftige 10-GBit/s-Module zu versorgen.
Das ISL-Trunking, das bei Cisco "Port Channeling" heißt, kann über bis zu 16 Links erfolgen, wodurch eine Bandbreite von 32 GBit/s möglich ist. Innerhalb eines Chassis soll sich jeder Port für das Channeling nutzen lassen. Das Channeling ist in den von Cisco beziehungsweise Andiamo Systems entwickelten ASICs implementiert.
Die MDS-9000-Direktoren unterstützen laut Hersteller sowohl Hardware-Zoning als auch eine neue, "Virtual SAN" (VSAN) genannte Technik, mit der sich innerhalb einer Fabric hardwaregestützt isolierte Umgebungen einrichten lassen sollen. Jedes VSAN unterstützt Hardware-Zoning und dupliziert die Fabric Services. Für das Traffic Management hat Cisco "Forward Congestion Control" (FCC) und Fabric-weite Quality of Service entwickelt. Weitere Funktionen sind LUN-Zoning, Access Control Lists (ACL) sowie Monitoring und Analyse.
Die ersten Produkte der MDS-9000-Familie sollen noch in diesem Jahr auf den Markt kommen. Für die Direktoren 9506 und 9513 sowie das IP-Modul peilt Cisco die erste Hälfte des nächsten Jahres an.
Qual der Wahl
Jeder der vier Anbieter hat schlüssige Argumente für seine Architektur. Ein Pauschalurteil, welches der beste oder der schlechteste Direktor ist, lässt sich deshalb nicht fällen. Hinzu kommt, dass es bislang erst sehr wenige Performancetests von Direktoren gibt (zu den Kämpfen zwischen McData und Brocade siehe oben Ticker). Neben der technischen Architektur und der Performance spielen bei Kaufentscheidungen auch der Funktionsumfang und die Leistungsfähigkeit der Software eine wichtige Rolle. Diesen Bereich untersuchen wir in einer der künftigen Ausgaben genauer.