Die Zeit der Direct Attached Storage (DAS), also der direkt über SCSI an den Server angeschlossenen Speichereinheiten, geht zumindest in größeren Unternehmen zu Ende. Das war der Speicher-Community schon lange klar: Seit 1988 liefen die Arbeiten an einem neuen Standard, dessen Ziel es war, SCSI-Daten über breitbandige Verbindungen mit größerer Reichweite zu schicken. Denn in der Konfiguration aus hoher Bandbreite und Distanz liegen die unüberwindlichen Hürden reiner SCSI-Systeme. Weitere Probleme stellen die Busarchitektur und das Fehlen eines effizienten Kompressionsalgorithmus für SCSI dar. Zudem sind die Daten einer SCSI-DAS-Implementierung jeweils nur für solche Anwender zugänglich, die direkt an dem Server mit den angeschlossenen Storage-Einheiten arbeiten. So wird viel Speicherplatz verschwendet.
1994 wurde der erste Fibre-Channel-Standard verabschiedet, 1995 kamen die ersten ein Gbit/s schnellen Produkte. Mittlerweile arbeitet Fibre Channel bereits mit zwei Gbit/s, weitere Geschwindigkeitsstufen stecken in der Pipeline. Die erste Generation der Fibre-Channel-Systeme verwendete häufig eine Arbitrated-Loop-Architektur (FC-AL-Switches). Dabei wird eine einzige Leitung durch den gesamten Hub geschleift, auf die dann alle angeschlossenen Geräte, maximal dürfen es 128 sein, abwechselnd Zugriff haben. Eigentlich funktionieren FC-AL-Switches wie Hubs: Die verfügbare Gesamtbandbreite von einem beziehungsweise zwei Gbit/s des FCs wird unter allen angeschlossenen Systemen aufgeteilt - ein auf die Dauer unbefriedigender Zustand.
Hohe Bandbreite durch Backbone-Architektur
Um den Missstand der aufgeteilten Ressourcen zu vermeiden, werden heute gänzlich echte Switches eingesetzt. Ihre Backbone-Architektur kann zwischen den angeschlossenen Systemen gleichzeitig mehrere, voneinander unabhängige Verbindungen mit voller Bandbreite schalten. Mit FC-Switches lassen sich vermaschte oder kaskadierte SANs mit vielen Endgeräten konstruieren. Zwischen den Endgeräten können die Daten zumindest theoretisch frei fließen. Damit agieren FC-Switches wie Ethernet-Switches in LAN-Infrastrukturen.
Eine FC-Switching-Fabric darf heute aus maximal 239 Switches bestehen. Jeder Switch unterstützt wiederum maximal 256 Loops und 256 Ports sowie 128 Nodes pro Loop. An die Ports von FC-Switches lassen sich auch alte Endgeräte, die auf Arbitrated-Loop-Technologie optimiert sind, anschließen. In der Regel arbeitet FC mit Glasfaser als Übertragungsmedium, es sind aber auch Kupferleitungen möglich. Hochwertige Geräte setzen statt fest konfigurierter Medienschnittstellen Gigabit Interface Converter (GBIC) ein, die sich je nach verwendetem Medium auswechseln lassen.
Jedes Gerät im FC-SAN ist durch einen World-Wide-Node-Name (WWN) und eine 24 Bit lange Fibre-Channel-Adresse eindeutig gekennzeichnet. Die FC-Adresse setzt sich aus einem 8 Bit langen Abschnitt für die Domain und einem genauso langen Abschnitt für das Areal (den Loop) sowie 8 Bit für den Port zusammen. Die Adressen werden durch einen Fibre-Channel-spezifischen Domain Name Service (DNS) entdeckt und festgelegt.
Bei den Cisco-MDS-9000-Modulen handelt es sich um Fibre-Channel-Module mit 16 beziehungsweise 32 Ports bei 1 Gbit/s- oder 2 Gbit/s-Übertragungen und ein IP-Storage-Modul mit acht Ports, das die Kombination der Protokolle iSCSI und FCIP unterstützt.
Kleines Port-1x1
Die Ports von FC-Switches sind selbstkonfigurierend. Sie passen sich je nach angeschlossenem System den jeweiligen Aufgaben an. Derzeit gibt es in FC-SANs fünf verschiedene Porttypen:
FL-Ports befinden sich am Switch und verbinden ihn durch einen einzigen Loop mit maximal 128 FC-AL-fähigen Endgeräten.
NL-Ports sind die Pendants an den FC-AL-Endgeräten: Sie verbinden Arbitrated-Loop-Systeme mit dem Switch oder untereinander.
F-Ports verbinden FC-Switches mit FC-Knoten, also Systemen mit einem FC-Host-Bus-Adapter (HBA) oder -Port. Das können Server, Tape-Libraries, RAID-Arrays oder andere Geräte sein.
Das Pendant am FC-Endgerät heißt N-Port.
E-Ports verlinken FC-Ports von Switches miteinander. In modernen Architekturen lassen sich mehrere E-Port-Verbindungen zu einem breitbandigen Inter-Switch-Link (ISL) zusammenfassen.
Die wichtigste Rolle für den Aufbau komplexerer SAN-Infrastrukturen mit mehreren Switches spielen naturgemäß die E-Ports, weil sich nur über sie mehrere Switches verbinden lassen. Sie stellen, falls nicht ausreichend trunkierbar, einen Engpass im SAN dar. Zwischen den E-Ports der Switches verschiedener Hersteller bestehen noch immer Kompatibilitätsprobleme. Zwar können sich heterogene Switches auf das standardisierte Mindest-Featureset verständigen, weiter gehende, herstellerspezifische Eigenschaften gehen jedoch verloren.
Anwendern wird deshalb auch heute noch geraten, ihre Infrastruktur möglichst aus den Geräten nur eines FC-Switch-Herstellers aufzubauen. Das wiederum erschwert den Markteintritt neuer Player und verringert dadurch den Wettbewerb. So zeigt sich, dass Cisco, mittlerweile Anbieter einer Serie von fortschrittlich konzipierten FC-Switches, langsamer als erwartet Boden gewinnt.
Portzahl und interne Bandbreite
Zu den technischen Qualitäten, auf die Käufer von Switches achten sollten, gehört neben der Portzahl auch die interne Bandbreite. Sie entscheidet darüber, wie viele Verbindungen der Switch gleichzeitig aufbauen kann. Die Zahl der zu einem ISL trunkierbaren Ports sollte so groß sein, dass keine Engpässe entstehen.
Wichtig ist ferner ein ausreichend großer Puffer an den Ports, weil sich sonst der Datentransport über längere Strecken verzögert. Mit FCs auf Glasfaserbasis sind Distanzen von 30 Kilometern problemlos überbrückbar. Liegen längere Distanzen zwischen den SAN-Endpunkten, muss die Zahl der Buffer Credits, einer Art Empfangsberechtigung für Daten-Frames, groß genug sein, um die Leitungsverzögerung zu kompensieren. Moderne Switches sollten an ihren Ports sowohl ein Gbit/s als auch zwei Gbit/s unterstützen und selbst erkennen, für welche Geschwindigkeit das jeweilige Endgerät geeignet ist.
Zugriffssteuerung durch Zoning
Eine wichtige Funktion von Switches ist die Zugriffssteuerung auf die einzelnen Speichersysteme mittels Zoning. Zoning kann Hardware- und Software-basiert erfolgen. Beim Softzoning erhalten Geräte lediglich Informationen über die Systeme, mit denen sie reden dürfen. Beim Hardzoning überprüft eine Hardware alle durchlaufenden Pakete und leitet sie nur an erlaubte Adressen weiter.
Hard- und Soft-Zoning werden häufig kombiniert. Die einfachste Variante ist portbasierendes Zoning. Dabei wird definiert, welche Ports mit welchen Geräten untereinander sprechen dürfen - also zum Beispiel alle Endgeräte an Port 1 ausschließlich mit Endgeräten an Port 2.
Der Ansatz ist insofern tückisch, als dass Endgeräte natürlich von einem Port an einen anderen Port verlegt werden können. Eine weitere Zoning-Methode bezieht sich auf die WWN-Namen jedes Geräts oder Ports und bietet demzufolge mehr Eindeutigkeit. Neue Ansätze erlauben das Zoning bis auf die Logical Units (LUN) der angeschlossenen Speichereinheiten hinab.
Verwaltung von Fibre-Channel-Switches
Zunehmend wichtiger wird das Management von FC-Switches. Es kann traditionell über eine serielle Schnittstelle oder über Telnet erfolgen. Etwas bessere Möglichkeiten bietet die Verwaltung über SNMP.
Die meisten Hersteller bieten für ihre Geräte einen Satz von abfragbaren Parametern, das so genannte Management Information Base (MIB), an. Die Daten werden über SNMP ausgelesen und entweder in proprietäre Tools oder in eines der großen Managementsysteme eingespeist.
Manche Hersteller wie McData (SAN Navigator) bieten inzwischen Software-Werkzeuge an, die herstellerübergreifend bestimmte Werte aus allen am SAN angeschlossenen Switches auslesen können. Ebenfalls auf dem Vormarsch ist das FC-Switch-Management über eine Webschnittstelle.
FC-Switch-Typen und -Merkmale
FC-Switch-Typen werden heute in erster Linie nach der Anzahl der vorhandenen Ports unterschieden: Edge- oder Einsteiger-Switches besitzen vier bis zwölf Ports. Meist sind sie fertig konfiguriert oder lassen sich selbst schon im Einsteigerbereich in Viererschritten ausbauen. Entsprechende Modelle eignen sich entweder als zentrale Schaltstelle in einem kleinen SAN mit nur wenigen Endgeräten oder als Edge-Switch zum Anschluss von Endgeräten in umfangreichen Infrastrukturen.
Enterprise-Switches haben zwischen 16 und 32 Ports. Sie sind ebenfalls meist fest konfiguriert, erlauben aber auf Grund ihrer hohen Portzahl den Aufbau kaskadierter oder vermaschter Infrastrukturen. Wichtig ist hier die Fähigkeit, mehrere E-Ports zu einem breitbandigen ISL zu trunkieren.
Direktoren sind die Parallele zu Highend-Core-Switches in LANs. Sie verfügen derzeit zwischen 64 und 140 Ports und eine modulare Architektur mit Karten, die in ein Chassis eingebaut werden. Diese Geräte bieten Redundanz aller wesentlichen Komponenten, weiter gehende Management-Features und eine breitbandige Backplane für viele gleichzeitige Verbindungen mit voller Bandbreite. Die Backplane ist bei Highend-Systemen häufig doppelt ausgelegt, um Ausfälle auch an diesen kritischen Stellen zu verhindern.
Escon und Ficon holen Mainframes ins Speichernetz
Eine besondere Geräteklasse bilden die Ficon-Switches. Sie ersetzen die älteren Escon-Switches. Beide Typen vernetzen Speicher-Peripherie mit IBM-Mainframes.
Ficon, die Nachfolgetechnologie von Escon, hat die achtfache Bandbreite: Acht Escon-Verbindungen werden auf einem Ficon-Link zusammengefasst. Fließen sehr viele Daten über die Escon-Verbindungen, konsolidiert man lediglich zwei oder vier Escon-Leitungen auf eine Ficon-Leitung, um über Leistungsreserven zu verfügen.
Die meisten Highend-FC-Switches sind heute Ficon-fähig. Die größte Erfahrung auf diesem Sektor hat Inrange, ein Unternehmen, das inzwischen zu CNT gehört.
Der Fibre-Channel-Protokollturm
Das FC-Protokoll ist wie sein IP-Pendant aus der LAN-Welt schichtweise aufgebaut:
Schicht 1 (FC-0) beschreibt die unterschiedlichen Übertragungsmedien und Konnektoren in ihren physikalischen Eigenschaften.
Schicht 2 (FC-1) befasst sich mit Kodierung und Dekodierung der Signale (Signalisierungsschnittstelle). Verwendet wird eine 8b/10b-Kodierung, das heißt, bei zehn Bit an versendeten Daten kommen 8 Bit kodierte Daten an, dazu kommen zwei Paritäts-Bits.
Schicht 3 (FC-2) umfasst Framing und Datenflusskontrolle: Der Sender darf nur so schnell senden, wie der Empfänger die empfangenen Daten verarbeiten kann. Zudem werden auf FC-2 unterschiedliche Dienstklassen definiert. Weiter sorgt FC-2 dafür, dass Fehler bei der Datenübertragung erkannt und behoben werden. Dabei findet diese Kontrolle immer nur zwischen den beiden miteinander verbundenen Geräten statt und nicht von Ende zu Ende.
Schicht 4 (FC-3) beinhaltet Fibre-Channel-Services, die bestimmte Mehrwertleistungen erbringen.
Auf Schicht 5 (FC-4) laufen die so genannten ULPs (Upper Level Protocols) wie SCSI. Andere Möglichkeiten sind IP, VI (Virtual Interface) oder ATM. Gemäß SCSI-FCP (SCSI-Fibre Channel Protocol) werden SCSI-Daten in FC-Frames eingepackt.
Dienstklassen im FC-SAN
Für Fibre Channel sind auf Schicht FC-2 vier Dienstklassen (Class of Service) definiert. Sie beschreiben bestimmte Übertragungsformen mit unterschiedlicher Qualität:
Class 1 ist eine dedizierte Verbindung zwischen einem Sender und einem Empfänger. Die Verbindung ist während der Class-1-Übertragung nur für die beiden kommunizierenden Geräte zugänglich. Die Daten kommen garantiert in der Reihenfolge an, in der sie gesendet wurden. Daher eignet sich Class 1 besonders für die Übertragung zeitsensitiver Daten wie Sprache und Video. Optional wird zusammen mit Class-1-Verbindungen Intermix eingesetzt. Intermix bedeutet, dass der Sender über die Verbindung so lange Class-2- und Class-3-Frames senden darf, wie keine Class-1-Frames versendet werden müssen. Dadurch wird die Bandbreite besser ausgenutzt.
Class 2 ist die verbindungslose Kommunikation zwischen zwei Ports. Mehrere Geräte teilen sich die vorhandene Bandbreite. Daten werden übertragen, sobald Bandbreite frei ist. Der Sender wird sowohl benachrichtigt, wenn die Daten angekommen sind, als auch, wenn sie den Empfänger nicht erreicht haben. Das garantiert eine gewisse Übertragungssicherheit.
Class 3: wie Class 2, aber ohne Bestätigung des Datentransfers von Ende zu Ende. SCSI wird meist mit dieser Dienstklasse kombiniert. Alle angeschlossenen Geräte teilen sich die Bandbreite und können bei geringem Verkehrsaufkommen mit voller Geschwindigkeit arbeiten. Bei viel Datenverkehr sind allerdings Einschränkungen möglich.
Class 4 funktioniert prinzipiell wie Class 1, verwendet aber nicht die volle, sondern nur einen Teil der vorhandenen Bandbreite, die den Verbindungen dieser Dienstklasse fest zugewiesen wird. Daher sind mehrere Class-4-Verbindungen auf einer FC-Leitung möglich. Class 4 wird immer mit Intermix kombiniert.
Class F dient der internen Kontrolle und der Koordination der verschiedenen Elemente einer Fabric. Daten können hier nur zwischen Switches ausgetauscht werden. Alle anderen Geräte ignorieren Class-4-Daten.
Fabric Services
Fabric Services sind Dienste, die Geräte im FC-SAN beanspruchen können. Die wichtigsten Dienste sind:
Name Server Support - Ein Namensverzeichnis für die gesamte Fabric, das über alle Switches verteilt und somit überall verfügbar ist. Jede Anfrage an den Name-Server wird von allen verfügbaren Switches beantwortet, was den Ausfall des Name-Server sehr unwahrscheinlich macht.
Management Service - Macht In-band die wichtigsten Managementdaten über die Fabric zugänglich. Dazu gehören Topologie-Informationen. Management Service hat, unabhängig von der Zonierung des SAN, Zugriff auf den kompletten Name-Server. Der Management-Server wird von SAN-Management-Software genutzt, um entsprechende Informationen über das SAN auszulesen.
Statuskontrolle - Registered State Change Notification (RSCN) meldet Veränderungen im Status angeschlossener Knoten, also zum Beispiel, wenn ein Knoten entfernt, neu hochgefahren oder mit anderen Knoten als bisher verbunden wird. Besonders wichtig bei der Fehlerdetektion.
Time Server - Eine zentrale Clock für alle Devices am SAN.
Nicht jeder Switch unterstützt jeden dieser Dienste, manchmal müssen sie erst gegen Aufpreis aktiviert werden.
FC-Anbieter im Überblick
Vertrieben werden FC-Switches meistens direkt zusammen mit der übrigen Speicher-Hardware von den großen Systemanbietern wie IBM, HP, EMC oder Hitachi Data Systems sowie deren Fachhandelspartnern. Dazu kommen spezialisierte Systemintegratoren und Distributoren, die ebenfalls im Stande sind, komplette Storage-Infrastrukturen zu konzipieren und zu implementieren. Oft bieten auch diese kleineren Firmen eigene Storage-Produkte an, die sie dann mit den Switches der etablierten Hersteller zu Komplettlösungen bündeln. Ihre besondere Stärke liegt darin, kleinere und mittelständische Kunden mit für sie maßgeschneiderten Paketen zu bedienen.
Die wichtigsten Hersteller im FC-Switch-Markt sind derzeit:
Marktführer Brocade
Der EMC-Offspring McData, der sich einen Namen im Highend-Bereich machen konnte und auch im Einsteigersegment Zugewinne verzeichnet.
Der Netzwerkgigant Cisco, der versucht, mit einem Kompatibilitäts- und Multiprotokollansatz zu punkten.
Der Long-Distance-Spezialist CNT, zu dem auch Inrange gehört.
Um Qlogic war es im Switch-Markt länger still. Der Hersteller konzentrierte sich vor allem auf seine Host-Bus-Adapter und Controller und brachte hier zum Beispiel erste Produkte für iSCSI auf den Markt. Vor kurzem hat sich Qlogic jedoch auch im Switch-Markt zurückgemeldet: Mit Stackables für Fibre Channel, die sogar über eine 10-Gbit-Option verfügen. Dabei ist es noch nicht sicher, ob sich 10 Gbit im SAN-Markt durchsetzt oder doch die Geschwindigkeitssteigerung von vier zu acht Gbit/s verlaufen wird. Sanbox 5200 hat in der Grundvariante acht Ports und soll rund 5700 US-Dollar kosten. Acht Boxen sind kaskadierbar, so dass ein Sanbox-Stack maximal 64 Ports unterstützt. Qlogic zieht bewusst Parallelen zu IP-Netzen, wo, so der Hersteller, die großen Preissenkungen auch erst durch Stackables möglich wurden.
Andere Player haben sich während der Wirtschaftskrise der letzten zwei Jahre aus dem europäischen Markt zurückgezogen oder sind, wie Gadzoox, das von Broadcom aufgekauft wurde, ganz verschwunden. Alle maßgebenden FC-Hersteller haben ihren Sitz in den USA. Daher werden von dort auch die wichtigen Standardisierungsgremien (ANSI American National Standardization Institute) und Industrieverbände (Fibre Channel Industry Association, FCIA) gesteuert. Das ist ein nicht unbeträchtlicher strategischer Nachteil für europäische Anwender, deren spezielle Anliegen, beispielsweise die Einbindung von Siemens-Hosts oder anderer europäischer Hardware, nur indirekt in den Standardisierungsprozess einfließen. (hal)
Dieser Artikel basiert auf einem Beitrag von speicherguide.de.