Ratgeber: Vernetzen mit Fibre-Channel-over-Ethernet

Die Entwicklung der Anbindung von Speichersystemen an die Rechnerinfrastruktur fand in insgesamt sechs Stufen statt. Dazu gehören direkt angebundene Speicher, sogenannter Direct-Attached-Storage oder kurz DAS, sowieso die Anbindung über iSCSI und Netzwerkspeicher, auch Network-Attached-Storage oder NAS genannt. Ebenso zählen Fibre-Channel-Storage-Area-Network (SAN), Fibre-Channel-over-IP (FCIP/iFCP), Infiniband sowie Fibre-Channel-over-Ethernet (FCoE) zu gängigen Anschlussarten für Storage.

Während DAS, SAN und Infiniband jeweils proprietäre Ansätze mit eigenem Protokollstapel darstellen, beruhen FCIP, iSCSI und NAS physikalisch und logisch auf Ethernet und dem TCP/IP-Protokoll. Allerdings erzeugt die Einbindung zusätzlicher Protokolle in das Internetprotokoll Überhänge, die die Effizienz der bisherigen Lösungen deutlich schmälern. Dies ist die Hauptursache dafür, dass sich weder FCIP/iFCP noch iSCSI in der breiten Masse bisher auf breiter Front durchsetzen konnten.

Traditionelle SANs

Infiniband und das Fibre-Channel-SAN sind zwar ungleich leistungsfähiger als Ethernet-basierte Netzwerke und deren Protokolle bei gleicher Bandbreite, allerdings erfordern sie jeweils eine eigene Infrastruktur mit separater Verkabelung, getrennten Aktivkomponenten, speziellen Schnittstellen an den Rechnern (Host Bus Adapter, HBA) und eigens ausgebildetes Personal. All dies macht den Aufbau eines entsprechenden Netzes aufwendig und dessen Betrieb entsprechend teuer. Daher können sich nur Unternehmen und Institutionen, von denen sich die entsprechende Mehrleistung tatsächlich in Umsatz und Gewinn darstellen lässt, Fibre-Channel- oder Iinfiniband-SANs überhaupt auf Dauer leisten.

SAN versus Ethernet

In solchen Rechenzentren hat sich allerdings der Betrieb zweier völlig getrennter Netzwerke etabliert. Zur Rechnerkopplung wird eine herkömmliche Ethernet-Infrastruktur genutzt, die intern als Local-Area-Network (LAN), innerhalb einer kurzen Entfernung zwischen Betriebsstätten als Metropolitan-Area-Network (MAN) und auf größeren Strecken zwischen Städten, Ländern oder gar Kontinenten als Wide-Area-Network (WAN) betrieben wird. Daneben existieren ein oder mehrere Speichernetzwerke, wie schon beschrieben mit komplett getrennter Infrastruktur, meist zur Nutzung von Fibre-Channel, seltener von Infiniband.

Beide Netzwerktypen haben völlig unterschiedliche Ausprägungen in Terminologie, Geschwindigkeit und Protokollen. Darüber hinaus muss das Unternehmen für den Betrieb mindestens zwei unterschiedliche Verwaltungswerkzeuge nutzen. Beide Netzwerke benötigen unterschiedliche Schnittstellenkarten in den teilnehmenden Rechnern, physikalisch getrennte Verkabelung größtenteils unterschiedlicher Typen, eigene Switche, eine eigene Routing-Infrastruktur und, wie bereits erwähnt, eine bestimmte Anzahl speziell geschulter Mitarbeiter für den Betrieb.

Entwicklung eines neuen Standards

Das Ziel für die Einführung eines neuen Speicherprotokolls war also ganz einfach, nämlich die Nutzung der existierenden LAN-, MAN- und WAN-Infrastruktur auf Ethernet-Basis zur Kopplung von Rechnern und Speichern. Das hierfür vorgesehene Protokoll Fibre-Channel-over-Ethernet (FCoE) wurde vom International Committee for Information Technology Standards (INCITS) T11 Fibre Channel Interfaces Technical Committee entwickelt und ermöglicht einen nativen Fibre-Channel-Datentransport über die Ethernet-Infrastruktur.

Das hierzu notwendige Converged-Enhaced-Ethernet (CEE) wurde von der Ethernet IEEE Data Center Bridging Task Group entwickelt und bietet eine Ethernet-Umgebung, die nur noch so wenig Pakete verliert wie vormals das Fibre-Channel-Protkoll. Daher wird CEE auch als "Lossless Ethernet" bezeichnet. Sowohl FCoE als auch CEE erfordern mindestens eine 10-Gbit/s-Infrastruktur und sind daher nicht auf älteren 100-Mbit/s- oder 1-Gbit/s-Netzwerken einsetzbar. Die Standards sind seit Juni 2009 verbindlich und wurden durch die FC-BB-5 Working Group of T11 definiert. Dabei gab es, im Gegensatz zu den meisten Initiativen vorher, eine breite Unterstützung aus der Industrie, sodass sich FCoE in kurzer Zeit etablieren konnte.

Das Protokoll

Fibre-Channel-over-Ethernet ist ein reines Protokoll für Speichernetzwerke, das native Fibre-Channel-Pakete über eine Ethernet-Physik transportiert. Dabei werden die Nutzdaten (Payload), versehen mit einem Fibre-Channel-, einem FCoE- und schließlich einem Ethernet-Header, in einem 2229 Byte großen Paket verschickt.

Die traditionell von Ethernet genutzten ISO/OSI-Schichten 1 bis 3, also Physik und IP, ergänzt FCoE mit einer neuen, zwischen den FC-Schichten 0 (Transport) und 2 (Flusskontrolle) eingezogenen Schicht, die Codierung und Decodierung an das neue Protokoll anpasst. Die FC-Dienste in Schicht 3 werden unverändert übernommen, wodurch beispielsweise an der Verwaltungssoftware keine Änderungen vorgenommen werden müssen. Aufgrund seiner Größe erfordert FCoE die Unterstützung von übergroßen Paketen (Jumbo-Frames) durch Ethernet.

iSCSI versus FCoE

Im Gegensatz zu FCoE setzt iSCSI als Applikation auf der höchsten Schicht des ISO/OSI-Modelles auf, nutzt TCP zum Transport und ist damit weiterleitbar (routbar). Zwar lässt es sich dadurch auch außerhalb einer lokalen Infrastruktur nutzen, allerdings kommt es mit einem wesentlich größeren Overhead aus drei zusätzlichen Schichten daher und verliert dadurch einen deutlichen Teil seiner Transportleistung. FCoE ist allerdings durch die direkte Nutzung von Ethernet auf den Betrieb in lokalen Domänen der zweiten Transportschicht beschränkt.

Converged Network Adapter

Neue sogenannte Converged Network Adapter (CNA) ermöglichen die Teilnahme an allen Ethernet-basierten Diensten im Netzwerk. So können entsprechend ausgerüstete Rechner sowohl an LAN, MAN und WAN als auch an iSCSI, NAS und FCoE teilnehmen, ohne jeweils die Infrastruktur wechseln zu müssen. Damit spart sich der Betreiber der Infrastruktur den Betrieb eines eigenen Speichernetzes mit separater Verkabelung, Aktivkomponenten und HBAs.

Die einzige Anpassung erfolgt aufseiten der Speichersysteme, deren FC- durch FCoE-Frontend-Adapter ausgetauscht werden müssen. Vom Betriebssystem aus wird ein CNA weiterhin mit zwei verschiedenen Treibern für Ethernet und Fibre-Channel betrieben, sodass hier keine logischen Anpassungen notwendig werden und sich beide Dienste auch nicht "ins Gehege" kommen. Auch in den Gerätemanagern der jeweiligen Betriebssysteme tauchen CNAs jeweils als ein Ethernet- und ein Fibre-Channel-Adapter auf.

Veränderungen an der Infrastruktur

Ein erfreulicher Nebeneffekt ist auf der einen Seite die Steigerung der Zuverlässigkeit des Gesamtkonstrukts. Separate HBAs, Switche, Direktoren und Verkabelung sowie eine getrennt betriebene Verwaltungsumgebung fallen weg und dadurch auch das Risiko, dass diese Komponenten ausfallen könnten.

Auf der anderen Seite stehen nicht mehr getrennte Bandbreiten für Speicher- und Rechnerkopplung zur Verfügung, sodass an Hochleistungsrechnern mit entsprechenden Anforderungen an I/Os und Datendurchsatz wiederum eine höhere Anzahl an Ports verbaut werden muss.

Breite Unterstützung im Markt

Seit Einführung Mitte 2009 haben sich viele Speicherhersteller, darunter alle großen Unternehmen, dem FCoE-Trend angeschlossen. Hitachi, IBM, LSI, NetApp, EMC, Fujitsu, Oracle und HP bieten Systeme mit entsprechenden Frontend-Adaptern an, während Brocade, Cisco, Emulex und QLogic CNA- und Converged-Ethernet-Komponenten im Programm haben.

Zurzeit sind allerdings vor allem die CNA-Adapter wesentlich teurer als "normale" Ethernet-Karten. Darüber hinaus bieten Hersteller von kompakten Servern oder Blade-Systemen mit integrierten Komponenten zwar einen oder zwei Ethernet-, aber kaum CNA-Adapter an. Diese RZ-tauglich und damit redundant nachzurüsten gestaltet sich meist schwierig. Oft verfügen die entsprechenden Rechner nur über einen Steckplatz, wobei dieser dann auch größtenteils nicht die erforderliche Höhe aufweist.

Nutzen für den Anwender

Ohne Frage ist FCoE die sinnvollste und kostensparendste Neuentwicklung im Speichernetzbereich des vergangenen Jahrzehnts. Der Grundgedanke, eine ausgereifte und damit zuverlässige, weit verbreitete Physik mit einem leistungsfähigen Protokoll zu kombinieren, ist für jeden Nutzer erstrebenswert. Allerdings nur für denjenigen, der die einmalige Chance bekommt, auf der "grünen Wiese" eine vollkommen neue Infrastruktur aufzubauen.

Hier ist die gleichzeitige Einführung von FCoE-fähigen Speichersystemen, der entsprechenden Verkabelung und von Servern mit CNAs operativ und finanziell zu rechtfertigen. In bestehenden Umgebungen allerdings, meist betrieben mit 8-Gbit/s-FC und 10-Gbit/s-Ethernet, wird FCoE keine Mehrleistung bringen. Zusätzlich wird die konvergente Infrastruktur mehr Kosten verursachen als die Weiternutzung der bestehenden Netze.

Erst bevorstehende Umrüstungen der FC-Infrastruktur auf 16 Gbit, 32 Gbit oder noch mehr Bandbreite wird den Anwender vor die Wahl stellen, nochmals zusätzliche Mittel in sein Speichernetz zu investieren. Je nach Struktur ist zu überlegen, ob das Geld nicht besser gleich in den Aufbau eines konvergenten Netzes mit FCoE gesteckt wird.

Dies dürfte auch der Grund für die schleppende Einführung von FCoE im Markt sein. Nach Prognosen von Experten wird sich in den kommenden Jahren FCoE immer weiter ausbreiten, allerdings nur dort, wo ohnehin grundsätzlich neue Infrastrukturen eingeführt werden müssen. (hal)