Enorme Flexibilität

Fibre Channel: Funktion und Technologie

27.01.2011 von Dr. Andreas Köpf
Bei Storage Area Networks (SAN) gehört die Fibre-Channel-Technologie zur Standardausstattung. In Bezug auf Performance, lange Übertragungsstrecken und Vielseitigkeit gibt es zur FC-Storage-Technologie nahezu keine Alternativen. Wir erklären die Grundlagen und Spezifikationen.

Fibre Channel (FC) ist eine serielle, High-Speed-Datentransfer-Technologie, die gleichermaßen für Netzwerke und Massenspeicher geeignet ist. Fiber Channel ist ein offener Standard, definiert durch ANSI und OSI und unterstützt alle wichtigen höheren Protokolle wie Internet Protocol, ATM (Asynchronous Transfer Mode), IEEE 802 (Institute of Electrical and Electronics Engineers Standard), HIPPI (High Performance Parallel Interface), SCSI (Small Computer System Interface) und so weiter.

Das heißt, Fibre Channel verfügt über keinen eigenen Befehlssatz, sondern stellt lediglich den Datentransfer zwischen den einzelnen FC-Geräten her. Fibre Channel ist allerdings nicht beschränkt auf die Übertragung von optischen Signalen durch Glasfasern (englisch „fiber“), sondern kann auch mit kostengünstigen Kupferkabeln wie Twisted-Pair- oder Koax-Kabeln realisiert werden. Dies bewog die Entwickler dazu, die französische Schreibweise „fibre“ für diese Übertragungstechnologie zu benutzen.

Fibre Channel ist schnell und deshalb besonders für extrem hohe Datentransferraten geeignet. Darüber hinaus ist es durch die Unterstützung verschiedener Topologien sehr flexibel und auf kleinen und großen Systemen anwendbar beziehungsweise skalierbar. Die Installation ist einfach, da ein serielles Kabel ohne Terminierung zum Einsatz kommt. Eine ID-Vergabe erfolgt automatisch. Zusätzlich lässt sich FC einfach integrieren und arbeitet extrem zuverlässig, da es alle wichtigen Protokolle unterstützt und eingebaute Korrekturalgorithmen besitzt.

Einer der großen Vorteile von FC ist die enorme Vielseitigkeit der möglichen Konfigurationen. Sie reicht von einfachen Strukturen, bei denen lediglich zwei Geräte miteinander verbunden werden, bis hin zu komplexen Netzwerken mit über 16 Millionen Teilnehmern.

Wenn Sie sich für die Technologie von Fibre Channel Switches interessieren, werden Sie in folgendem Artikel fündig: Grundlagen: Fibre Channel Switches. Ausführliche Informationen zu SANs liefert Ihnen der Beitrag SANs - Standards und Lösungen. Über die iSCSI-Technologien informiert Sie der Artikel iSCSI - Preiswerte SAN-Alternative.

Ebenfalls sehr empfehlenswert sind diese zwei Videos von Sun. Sie erklären die Funktionsweise von Fibre Channel sehr ausführlich und klären über die Konzepte hinter der Technologie auf.

Topologie: Point-to-Point-Verbindung

Innerhalb der Fibre-Channel-Spezifikation sind mehrere Topologien beziehungsweise Verbindungsmethoden vorgesehen:

Die Point-to-Point-Verbindung ist die einfachste Verbindung von zwei FC-Geräten zum Beispiel zwei Servern oder ein Server- und ein Festplatten-Subsystem. Die FC Geräte wie etwa den FC-Controller bezeichnet man als Nodes. Diese wiederum haben einen oder auch mehrere sogenannte N_Ports – die eigentliche FC-Schnittstelle. Jeder N_Port hat jeweils einen Sender (Transmitter) und einen Empfänger (Receiver).

Einfachverbindung: Eine FC-Point-to-Point-Verbindung besteht aus einem Transmitter und einem Receiver mit gekreuzter Link-Verbindung. (Quelle: ICP)

Sender und Empfänger zwischen den einzelnen Geräten sind über Kreuz miteinander durch sogenannte Links verbunden. Diese Links können bei Fibre Channel entweder Kupferkabel zur Übertragung von elektrischen Signalen sein, oder Glasfasern, wenn die Daten als optische Signale verschickt werden.

Bei der Point-to-Point-Verbindung steht die gesamte Bandbreite der FC-Verbindung von aktuell 8 GBit/s exklusiv für die Kommunikation der zwei Nodes zur Verfügung. Durch die Einfachheit dieser Verbindung ist sie naturgemäß auch problemlos zu implementieren.

Topologie: Arbitrated-Loop-Topologie

In der Arbitrated-Loop-Topologie können bis 127 Ports in einer Ringstruktur zusammengeschaltet werden. In diesem Ring übertragen die Leitungen die Daten von Nachbar zu Nachbar.

Arbitrated Loop: Bei dieser Konfiguration sind je zwei Ports gleichzeitig aktiv. (Quelle: ICP)

Die Ports in einer Arbitrated Loop werden als NL_Ports bezeichnet. In dieser Konfiguration sind jeweils zwei Ports gleichzeitig aktiv. Die anderen Ports arbeiten als Repeater und reichen lediglich die Signale weiter. Das heißt natürlich, dass sich die Bandbreite von 8 GBit/s auf alle Teilnehmer verteilt. Ähnlich wie beim Token Ring „sieht“ jeder Teilnehmer der Arbitrated Loop alle Messages und sendet diejenigen, die nicht für ihn bestimmt sind, einfach weiter. Die Fibre Channel Arbitrated Loop ist ein Subset der Switched Fabric.

Topologie: Switched Fabric

Unter Switched Fabric versteht man eine netzartige Topologie. FC-Geräte sind über sogenannte F_Ports oder FL_Ports an dieses Netzwerk angeschlossen – je nachdem, ob es sich um einfache oder Loop-fähige Ports handelt.

Switched Fabric: In dieser netzartigen Topologie können sich verschiedene FC-Geräte untereinander verständigen. (Quelle: ICP)

Die Verbindung zwischen den einzelnen Ports wird wie bei einem Telefonsystem durch das Netzwerk geschaltet. Das FC-Gerät wird über einen F_Port oder FL_Port an die Switched Fabric angeschlossen. Möchte nun zum Beispiel Node A mit Node B „sprechen“, wird die entsprechende Adresse der Switched Fabric übergeben. Die Switched Fabric schaltet eine entsprechende Verbindung vom Initiator zum Target, wobei jedoch beide nicht wissen, welchen Weg die Signale nehmen. Dies ist ausschließlich Aufgabe des Netzwerkes selbst. Die Verbindung wird vollständig durch die Switched Fabric hergestellt und ist vollkommen transparent für die Teilnehmer.

Ähnlich wie beim Telefon gibt es in diesem Netz die unterschiedlichsten Verbindungen, wie Point-to-Point, Ringe, Hubs oder Switches. Zur Adressierung stehen 24 Bits zur Verfügung (bei der Arbitrated Loop werden nur die untersten 8 Bit genutzt). Damit können mehr als 16 Millionen Teilnehmer angesprochen werden.

In diesem Artikel wollen wir uns auf die Anwendung des Fibre Channels im Massenspeicherbereich beschränken. Da hier in der Regel nur eine begrenzte Anzahl von Geräten untereinander verbunden werden muss – ein Controller und mehrere Festplatten – kommt hier die FC Arbitrated Loop zum Einsatz. Aus diesem Grund legen wir auf den folgenden Seiten den Fokus auf diese Topologie.

Serviceklassen der FC-Technologie

In den bereits beschriebenen Topologien kann der Anwender verschiedene Verbindungstypen aufbauen, die als sogenannte Serviceklassen bezeichnet werden. FC unterscheidet zwischen fünf verschiedenen Serviceklassen:

Die fünf unterschiedlichen Serviceklassen und ihre Bedeutung

Serviceklassen

Beschreibung

1

verbindungsorientiert

2

verbindungslos, mit Bestätigung

3

verbindungslos, ohne Bestätigung

4

parallele Übertragung

5

parallel und isochron

Die Serviceklasse 1 stellt eine dedizierte Verbindung zwischen Sender und Empfänger her. Alle gesendeten Pakete werden vom Empfänger quittiert. Während des Bestehens dieser Verbindung können keine anderen Teilnehmer die verbundenen Partner ansprechen.

Serviceklasse 2 ist eine „verbindungslose“ Methode mit Bestätigung des Datentransfers. Dies bedeutet, der Weg den die Datenpakete nehmen ist unbestimmt. Die verfügbare Bandbreite kann hierbei unter mehreren Teilnehmern aufgeteilt werden.

Serviceklasse 3 ist ähnlich wie Klasse 2, jedoch ohne Bestätigung des Datentransfers. Diese Verbindungsklasse wird in der Regel bei Massenspeichersystemen genutzt. Durch die Möglichkeit der Aufteilung der Bandbreite können mehrere FC-Geräte parallel miteinander kommunizieren. Zum Beispiel kann der RAID-Controller Daten sehr schnell aufeinanderfolgend an mehrere Festplatten senden, ohne auf die Bestätigung der einzelnen Datenpakete warten zu müssen. Da die Empfangsbestätigung durch das höhere SCSI-Protokoll ausgeführt wird, ist auf der unteren FC-Protokollebene keine Empfangsbestätigung notwendig.

In Serviceklasse 4 werden Datenpakete zwischen zwei Teilnehmern in einem Netzwerk unter Ausnutzung mehrerer Verbindungsmöglichkeiten bei garantierter Bandbreite ausgetauscht.

Serviceklasse 5 ist ähnlich wie Klasse 4, jedoch bei zusätzlicher isochroner Datenübertragung.

Theorie der Protokoll-Schichtmodelle

FC unterstützt unterschiedliche Paketlängen – von prinzipiell 0 Bytes bis 2048 Bytes pro Paket. FC ist deshalb einerseits optimal geeignet für kleine IOs, wie sie typischerweise bei Datenbanken auftreten; andererseits ist der FC aber auch in der Lage, größere Datenmengen, wie sie zum Beispiel in Video-Applikationen vorkommen, effektiv und ohne viel zusätzlichen Overhead zu übertragen.

Da Fibre Channel durch unterschiedliche Kabel, Topologien und Übertragungsmodi extrem vielseitig anwendbar ist, haben die Entwickler die Definition des FC-Protokolls in fünf verschiedene Protokollschichten untergliedert. Die Definitionen der physikalischen Verbindungen (Kabel, Stecker, Transmitter und Receiver) werden in der sogenannten FC-0-Schicht zusammengefasst.

Die FC-1-Schicht regelt die Einkopplung der Datenbits in den Übertragungstakt und steuert die 8/10-Bit-Kodierung-/Dekodierung. Hierdurch wird eine Signalbalance von 50 Prozent erreicht (gleich viele High wie Low Pegel bei der Signalübertragung), was zu einer extrem niedrigen Bit-Fehlerrate führt. Durch diese Methode wird allerdings die zu transportierende Datenmenge um 25 Prozent erhöht, was durch eine entsprechend schnellere Übertragungsrate kompensiert werden muss. Bei der Angabe der Übertragunsraten unterscheidet man deshalb auch zwischen der Nettodatenrate, die in MByte/s angegeben wird, und der tatsächlich über die Verbindung gesendeten Signale in MBit/s (800 MByte/s Nettorate entsprechen 8 GBit/s Signalrate).

Die FC-2-Schicht ist für die Steuerung des Datenflusses verantwortlich. Hier werden die einzelnen Transferpakete mit Adresse, Daten und CRC-Information zusammengestellt. Diese Schicht übernimmt auch die Bestätigung der Übertragung.

In der FC-3-Schicht werden gemeinsame Funktionalitäten von Gruppen von Netzwerkteilnehmern definiert.

Die Unterstützung der höheren Protokolle (IP, IEEE 802, HIPPI oder SCSI) wird schließlich in der FC-4-Schicht geregelt. Insgesamt können in dieser Schicht bis zu 255 verschiedene höhere Protokolle definiert werden, was noch genügend Raum für zukünftige Protokolle lässt.

Zeitverzögerungen durch parallele Kabel

Viele Anwender fragen sich, wie eine serielle Übertragung schneller sein kann als der Transfer von Daten über mehrere parallele Leitungen? Das Problem bei einer parallelen Datenübertragung ist, dass die einzelnen Signale, die gleichzeitig vom Sender losgeschickt werden, beim Empfänger natürlich wieder gemeinsam zu einem beziehungsweise mehreren Bytes zusammengesetzt werden müssen.

Laufzeitproblem: Bei paralleler Datenübertragung haben die einzelnen Signale unterschiedliche Laufzeiten. (Quelle: ICP)

Und genau hier wird es problematisch, wenn man zu immer höheren Datentransferraten geht. Durch unterschiedliche kapazitive Belastung der einzelnen Signale bei der Übertragung kommen die Signale, die gleichzeitig losgeschickt werden, beim Empfänger nicht gleichzeitig an. Diese Verschiebung (t) der einzelnen Signale untereinander wird umso größer, je weiter der Sender vom Empfänger entfernt ist. Damit die einzelnen Signale beim Empfänger wieder richtig zusammengefasst werden können, müssen sie gemeinsam eine gewisse Mindestzeit gültig sein. Um das zu erreichen, müssen sie vom Sender eine bestimmte Mindestzeit (T) gesendet werden. Diese Mindestzeit beschränkt jedoch die maximal mögliche Sendefrequenz.

Signalverzerrungen durch serielles Kabel

Damit die einzelnen Signale beim Empfänger noch „gemeinsam“ ankommen, darf die Kabellänge zwischen Sender und Empfänger bei einer Datenfrequenz von 10 MHz nicht mehr als 3 Meter betragen. Vergrößert man nun die Datenfrequenz, muss natürlich entsprechend die Kabellänge verkleinert werden, damit der Empfänger die einzelnen Bits noch gemeinsam erkennt.

Bei einer seriellen Datenübertragung mit nur einer Signalleitung tritt dieses Problem naturgemäß nicht mehr auf. Da es nur eine Leitung gibt, werden alle Signale gleichmäßig verzögert und kommen natürlich immer noch in derselben Reihenfolge, wie sie vom Sender losgeschickt wurden beim Empfänger an. Hier gibt es allerdings andere Effekte, welche die maximale Transferrate beschränken.

Rundbögen: Die Datenübertragungstrecke verformt das Signal zwischen Sender und Empfänger. Aus rechteckigen Flanken entsteht ein sinusförmiger Signalverlauf. (Quelle: ICP)

Die elektrischen Signale in einem Leiter (Flanken der Rechtecksignale) werden durch die elektrische Kapazität des Kabels „verschliffen“. Die Verformung der Signale ist umso größer, je weiter Sender und Empfänger voneinander entfernt sind. Die Signalverformung darf allerdings maximal nur so groß sein, dass die einzelnen Impulse noch deutlich voneinander getrennt werden können. Bei Multimode-Glasfasern mit einem Querschnitt von 50 oder 62,5 µm gibt es einen ähnlichen Effekt.

Optimale Datenübertragung mit Glasfaserleitungen

Aufgrund des im Vergleich zur Lichtwellenlänge relativ großen Querschnitts dieser Multimode-Glasfaser können die einzelnen Lichtstrahlen verschiedene Wege nehmen. Je öfter die Strahlen am Rand der Glasfaser reflektiert werden, desto länger ist ihr Weg und desto länger dauert die eigentliche Übertragung.

Lichtwellenleiter: Mit einer Multimode-Glasfaserleitung lassen sich mehrere Lichtstrahlen parallel übertragen. Die Übertragungsstrecke darf 500 Meter nicht überschreiten. (Quelle: ICP)

Durch diesen Effekt wird der ursprüngliche Lichtimpuls verzerrt – ähnlich wie bei den eben diskutierten elektrischen Signalen. Ebenso wie bei den elektrischen Signalen darf auch hier die Signalverformung nur maximal so groß werden, dass sich die einzelnen Signale noch deutlich voneinander unterschieden. Mit der Multimode-Glasfaser können Distanzen bis zu 500 Meter zwischen Sender und Empfänger realisiert werden. Der deutlich kleinere Querschnitt der Singlemode-Glasfaser von 9 µm erlaubt nur einen einzelnen Lichtstrahl. Deshalb kann bei dieser Glasfaser nicht der Verzerrungseffekt wie bei der Multimode-Glasfaser auftreten.

Lichtkanal: Die Singlemode-Glasfaser arbeitet nur mit einem einzelnen Lichtstrahl. Die Übertragungsdistanz beträgt zirka 10 Kilometer. (Quelle: ICP)

Mit dieser Glasfaser lassen sich Strecken bis zu 10 Kilometer überbrücken. Der begrenzende Faktor bei dieser Glasfaser ist die Dämpfung des Lichts durch die Faser selbst. Durch die relativ hohen Kosten dieser Verbindungstechnik wird sie nur dort eingesetzt, wo unbedingt die extrem großen Distanzen von mehreren Kilometern überbrückt werden müssen.

Stecker und Kabel für FC

Die Verbindungsstrecken zwischen den einzelnen FC-Geräten bei Massenspeichersystemen (RAID-Controller und Festplatten) sind in der Regel nicht sehr lang. Deshalb kommen hier bevorzugt die kostengünstigen Kupferkabel zum Einsatz. Für Fibre Channel sind insgesamt drei verschiedene Kupferkabel (Video Coax, Miniature Coax und Shielded Twisted Pair) mit FC-DB9-Stecker (ähnlich denen der seriellen PC Schnittstelle) definiert. Mit diesen Kabeln können Strecken von bis zu 25 Metern zwischen den einzelnen Geräten realisiert werden.

Müssen die einzelnen FC-Geräte oder Gerätegruppen noch weiter voneinander entfernt sein, kann auf die Signalübertragung mit Glasfaser zurückgegriffen werden. Die 50-µm-Multimode-Glasfaser mit Kurzwellenlasern erreicht eine Kabellänge von 500 Metern, die 62,5-µm-Multimode-Glasfaser bis zu 175 Metern. Als Stecker kommen sogenannte SC-Duplex-Stecker zur Anwendung. Mit 9-µm-Singlemode-Glasfaser und Langwellen-Lasern können sogar Kabellängen von bis zu 10 Kilometern realisiert werden. Die Längenangaben hierbei beziehen sich jeweils auf die Distanz zwischen den einzelnen Geräten, nicht wie beim SCSI-Bus auf die gesamte Kabellänge.

Da die bei den extrem großen Kabellängen notwendige Laserleistung bereits eine Gefahr für das menschliche Auge darstellt, wurde hierfür ein Schutzmechanismus mit dem Namen Open-Fiber-Control-System (OFC) definiert. Die Signale der relativ leistungsstarken Laser werden von der empfangenden Einheit ständig quittiert. Bleibt diese Rückmeldung aus, stoppt der Laser sofort eine weitere Aussendung von Lichtsignalen.

Im Gegensatz hierzu gibt es die sogenannten Non-OFC-Systeme. Die hier zur Anwendung kommenden relativ leistungsschwachen Laser stellen kein Risiko für das Auge dar und benötigen deshalb keine Rückmeldung durch den Empfänger. OFC- und Non-OFC-Systeme sind jedoch nicht kompatibel zueinander.

Media-Interface-Adapter (MIA)

Mit diesen Adaptern können die elektrischen Signale der Kupferkabel in die optischen Signale für die Glasfasern umgewandelt werden. Auf der einen Seite hat der Adapter den FC-DB9-Stecker, auf der anderen Seite eine SC-Duplex-Buchse für die Glasfaser.

MIA: Der Media-Interface-Adapter wandelt die elektrische Signale der Kupferkabel in die optischen Signale für die Glasfaser um und umgekehrt. (Quelle: ICP)

Im Adapter werden die elektrischen Signale über eine entsprechende Laserdiode in Lichtsignale, beziehungsweise die Lichtsignale von der Glasfaser kommend über einen optischen Sensor in elektrische Signale, umgewandelt. Die für den Adapter notwendige Spannungsversorgung muss hierbei über den entsprechenden DB9-Stecker geliefert werden. Mit diesen Adaptern lassen sich sehr einfach und kostengünstig weit entfernte FC-Geräte miteinander verbinden.

Die extrem hohe Datenübertragungsrate von Fibre Channel stellt höchste Ansprüche an die Qualität der eingesetzten Stecker und Kabel, weshalb hier unbedingt auf einen namhaften Hersteller zurückgegriffen werden sollte. (cvi)