10GBase-T: Das 10-Gigabit-Netzwerk über Kupferkabel

Das Ethernet wird immer schneller. Seit 1999 sind Datenraten von 1 Gbit/s über Twisted-Pair-Kabel möglich, und seit 2002 werden Datenraten von 10 Gbit/s über verschiedene Glasfaserkabel unterstützt. Seit Sommer 2006 ist mit dem Standard IEEE802.3an die Übertragung von 10 Gbit/s auch über Twisted-Pair-Kupferkabel möglich. Mit diesen Aktivitäten verlässt Ethernet zunehmend den Anwendungsbereich der lokalen Netze und dringt immer mehr in den Bereich der Backbones sowie der Metropolitan- und Wide-Area-Networks (MAN & WAN) vor.

Dieser Beitrag beschreibt die technischen Schritte, die notwendig sind, um diese enormen Datenraten über das kostengünstige Twisted-Pair-Kabel zu erreichen. Er erläutert darüber hinaus, welche Aspekte bei der Installation berücksichtigt werden müssen, und stellt erste Produkte vor.

Die Vorgeschichte

Gigabit-Ethernet über Twisted-Pair-Kabel ist bereits seit mehreren Jahren zu einer Standardanwendung geworden. Praktisch jeder neue PC ist mit einem Ethernet-Interface ausgestattet, das wahlweise 10, 100 oder 1000 Mbit/s unterstützt. Die Schritte von 100 Mbit/s auf 1 Gbit/s, die in IEEE802.3ae beschrieben sind, setzen bereits eine Reihe aufwändiger technologischer Maßnahmen voraus.

Ein wesentlicher Designpunkt beim Übergang zu 1 Gbit/s war die Unterstützung der herkömmlichen Netzwerktopologien. Diese basiert auf einer Lauflänge von 100 m, die sich aus 90 m Kabel im Kabelkanal sowie zwei Patchkabeln von jeweils 5 m Länge zusammensetzt. An jedem Patchkabel befindet sich ein Steckverbinder, so dass insgesamt vier Steckverbindungen den Signalweg beeinflussen.

Bereits bei Gigabit-Ethernet hat sich gezeigt, dass trotz der hohen Verbreitung der schnellen Schnittstellen im Bereich der Endrechner die Netzwerkinfrastruktur in den Unternehmen nicht sofort mitzieht. Die Gigabit-Datenraten setzen eine sauber verlegte Cat-5-Kabelinstallation voraus. Meist nutzt man auch Cat-6-Kabel, um bei den Patchfeldern und den Netzwerkdosen ein wenig mehr Toleranz zu haben.

Doch trotz der Gigabit-Schnittstellen in den PCs und einer entsprechenden Verkabelung arbeiten Workgroup-Switches weiterhin oft mit 100 Base-T Interfaces. Gigabit-Ports sind meist nur für die Backbone- und Server-Anbindung vorgesehen. Dadurch glauben Administratoren, eine natürliche Ressourcenverteilung gleichmäßig über alle User zu erreichen und die Server vor Überlast durch einzelne Poweruser zu schützen.

1000Base-TX: 1 Gbit/s über Kupfer

Die folgende Aufstellung fasst die wichtigsten Änderungen gegenüber Ethernet mit 100 Mbit/s zusammen. Mehr Details zu Ethernet mit 1 Gbit/s lesen Sie in unserem Beitrag Ethernet im Überblick:

• Die parallele Übertragung über alle vier Adernpaare hilft, die Datenrate pro Adernpaar zu reduzieren. Damit kann das so genannte Cable Sharing nicht mehr genutzt werden. Hierunter versteht man den parallelen Betrieb von zwei Kommunikationsstrecken über ein Kabel.

• Zur weiteren Verringerung des Frequenzbedarfs auf dem Twisted-Pair-Kabel wird eine fünfwertige Modulation (Pulse Amplitude Modulation – PAM5x5) verwendet, bei der mehrere Bits zu einem Symbol zusammengefasst werden können.

• Um die erhöhte Bitfehlerrate auszugleichen, die sich durch das verringerte Signal-Rausch-Verhältnis (Signal-To-Noise-Ratio, SNR) ergibt, wird eine zusätzliche Faltungscodierung zur Forward Error Correction (FEC) vorgesehen, die auf der Empfängerseite mit Hilfe des Viterbi-Algorithmus decodiert wird.

• Die bidirektionale Vollduplex-Kommunikation erlaubt die zeitgleiche Kommunikation in beide Übertragungsrichtungen. Dies setzt allerdings eine recht aufwändige Signalverarbeitung voraus, weil in einem Transceiver ein Empfänger die Signale des eigenen Senders vom empfangenen Signal subtrahieren muss. Hierbei müssen insbesondere auch die Reflexionen (Echos) berücksichtigt werden, deren Laufzeiten a priori nicht bekannt sind. Die Vollduplex-Kommunikation erscheint aber nur im Bereich symmetrischen Verkehrsaufkommens (z. B. im Backbone oder bei der Server-Kopplung) sinnvoll. Solange nur Client-Server-Anwendungen zum Tragen kommen, ist die Verkehrscharakteristik im Wesentlichen halbduplex.

Bestehende 10GBase-Standards

Seit 2002 wird im IEEE802.3ae auch die Übertragung mit Datenraten von 10 Gbit/s über Glasfaserkabel unterstützt. Hierfür stehen verschiedene Reichweiten und Codierungsarten zur Verfügung, um möglichst flexibel auf die bestehenden Infrastrukturen reagieren zu können. Die Reichweiten decken Bereiche von 65 m bis zu 40 km ab. Die Codierungsarten erlauben sowohl 10,3 Gbit/s als auch 9,953 Gbit/s. Letzteres vor allem, um die bestehenden SDH-Weitverkehrsnetze effizient nutzen zu können. Eine Übersicht ist in Tabelle 1 gezeigt.

Optische 10GE - PHY-Standards

LAN PHY	WAN PHY
PHY	10GBase SR	10GBase LR	10GBase ER	10GBase LX4	10GBase SW	10GBase LW	10GBase EW
Modus	Serial	Serial	Serial	WWDM	Serial	Serial	Serial
WAN Interface Sublayer	nein	Nein	nein	nein	WIS	WIS	WIS
Wellenlänge	850 nm	1310 nm	1550 nm	1310 nm	850 nm	1310 nm	1550 nm
Medium	Multimode	Single Mode	Single Mode	Multimode	Multimode	Single Mode	Single Mode
PCS-Kodierung	64B/66B	64B/66B	64B/66B	8B/10B	64B/66B	64B/66B	64B/66B
Physische Bitrate	10,3Gbps	10,3Gbps	10,3Gbps	4*3,125 Gbps	9,953 Gbps	9,953 Gbps	9,953 Gbps
Reichweite	65m	10 km	40km	300 m	65m	10 km	40 km

Darüber hinaus steht mit dem Standard 10 GBase-CX4 (IEEE802.3ak) seit 2004 auch die Möglichkeit zur Verfügung, diese hohen Datenraten über Kupferkabel zu übertragen. Dabei werden aber spezielle Kabel mit acht Adernpaaren benötigt, die zudem nur für Reichweiten von 15 m spezifiziert sind. Diese Verkabelung bietet sich vor allem innerhalb von Racks oder zwischen zwei benachbarten Racks an.

10 GBase-T

Die bis Mitte 2006 bestehenden Lösungen für 10-GBit-Ethernet waren für den flächendeckenden Einsatz noch nicht geeignet.

• Das kabelbasierte 10 GBase-CX4 ist nur für den Einsatz in Server-Räumen geeignet. Vor dem Hintergrund der hierdurch bedingt geringen Stückzahlen ist abzusehen, dass die Preise auch mittelfristig nicht fallen. Damit ist die Wahrscheinlichkeit hoch, dass dem Standard 10 GBase-CX4 das gleiche Schicksal bevorsteht wie dem langsameren Verwandten 1 GBase-CX4 auf Gigabit-Ebene, der sich nicht durchsetzen konnte.

• Bedingt durch den höheren Aufwand sowohl bei den passiven als auch den aktiven Komponenten bleiben auch die Short-Range-Glasfaser-Komponenten in einem Bereich, der für viele Anwendungen nicht attraktiv ist. Glasfaserbasierte 10-Gbit-Module kosten immer noch deutlich über 1000 Euro.

Somit bestand eine Lücke bei kostengünstigen High-Speed-Lösungen. Verschiedene Ansätze hatten zunächst eine Abkehr von den üblichen Zehnersprüngen bei der Steigerung der Netzwerkgeschwindigkeit diskutiert. Varianten mit 4 oder 5 Gbit/s waren in der Diskussion. Diese erschienen aber – auch vor dem Hintergrund des möglichen Trunking (logische Bündelung mehrerer Twisted Pair Verbindungen) – als nicht ausreichend attraktiv.

Sinnvolle Anwendungen

Allerdings sollte die Frage erlaubt sein, wer Datenraten von 10 Gbit /s tatsächlich benötigt. Bereits beim Gigabit-Ethernet stellt man im Bereich der Client-PCs fest, dass die mögliche Geschwindigkeit praktisch nie ausgeschöpft wird. Ein Grund ist die Anbindung der Netzwerkkarten über den PCI-Bus, der die im Prinzip erreichbare Geschwindigkeit auf rund 100 MByte/s limitiert. PCI Express macht zwar Schluss mit diesem Limit, aber derzeit existieren kaum Anwendungen für Client-PCs, die von Datenraten im Bereich von einem GByte pro Sekunde profitieren könnten.

Somit kommt als Anwendung von 10GBase eigentlich nur Bündelverkehr in Betracht, etwa zwischen Servern und zwischen High-Speed Switches im Unternehmens-Backbone. Auch der Einsatz bei der Anbindung von Speichermedien erscheint möglich. In allen drei Bereichen sind die Kosten für die Netzwerkverbindung aber meist nicht relevant. Außerdem besteht in vielen Firmen schon oft eine Glasfaserverkabelung – auch wegen der benötigten Reichweiten im Backbone.

Somit ist die Bereitstellung von 10GBase-T eher langfristig und strategisch zu sehen. Insbesondere ist es positiv zu werten, dass die Vorgaben für die Verkabelung nunmehr klar definiert sind. So kann man bei Installationen den Migrationspfad offen halten, was bei der typische Lebensdauer einer Netzwerkverkabelung von zehn bis 20 Jahren Luft nach oben schafft.

Der MAC-Layer

Von zentraler Bedeutung bei der Definition des 10 GBase-T im IEEE-Standard 802.3an ist der Grundsatz, die Rahmen- und Adressformate ebenso wie die Schnittstelle (Service Access Points) nach oben unverändert zu lassen. Dies erlaubt nicht nur die Übernahme der bereits für optische PHYs entwickelten Hardwaredesigns. Es vereinfacht auch den Entwurf von Multi-Speed-Switches mit Interfaces unterschiedlicher Geschwindigkeiten. Allerdings bleibt damit 10 GBase-T auf Grund der erlaubten Rahmenlängen unterhalb seiner Effizienzmöglichkeiten, da für jeden neuen Rahmen ja Interframe Spaces und Präambel erneut berücksichtigt werden müssen.

Wie bei bisherigen Ethernet-Standards existiert eine medienunabhängige Schnittstelle zwischen MAC und PHY. Die Leitungsbelegung dieses 10 Gigabit Medium Independent Interface (XGMII – das X steht für das römische Symbol der Zahl zehn) – ist vorgegeben. Das Interface übergibt die Daten parallel über jeweils 32 Bit breite Busse in Transmit- und Receive-Richtung. Unter Einbeziehung der notwendigen Steuer- und Taktsignale ergibt sich eine Schnittstelle mit 74 Leitungen.

Eine komplexe externe Schnittstelle wie XGMII verursacht erhebliche Kosten und stellt zudem signifikante Anforderungen an die Synchronisation der parallelen Datenleitungen. Daher definierte die IEEE zusätzlich das so genannte XAUI (10 Gigabit Attachment Unit Interface, sprich: "ssauwie"). Diese vereinfachte Erweiterung der XGMII-Schnittstelle kommt mit nur 16 Leitungen aus.

Wie die Abbildung zeigt, muss für 10GBase-T bei bestehenden optischen 10-Gbit-Designs lediglich der PHY-Chip ausgetauscht werden. In diesem hat man die beiden Komponenten Physical Coding Sublayer (PCS) und Physical Medium Attachment (PMA) neu spezifiziert. Sie verbinden das bestehende XGMII mit dem Übertragungsmedium.

Der PHY-Chip – Die aktiven Komponenten

Das 10-Gigabit-Ethernet nutzt ebenso wie sein 1-Gbit-Vorgänger alle vier Adernpaare, so dass pro Adernpaar eine Datenrate von 2,5 Gbit/s übertragen werden muss. Um diese um den Faktor zehn größere Übertragungsrate ohne extreme Anforderungen an die Verkabelung zu erreichen, ist eine Reihe von Maßnahmen nötig. Der Sendepfad des Transceivers enthält dafür folgende Baugruppen, die die Komplexität von 10GBase-T vor Augen führen. Der Empfangspfad enthält die entsprechend komplementären Elemente.

Ein Scrambler „verwürfelt“ die einzelnen Bits im Datenstrom. Dies führt im Mittel zu einer besseren Gleichverteilung von Nullen und Einsen und erleichtert hiermit die Synchronisation am Empfänger. Die Möglichkeit einer verbesserten Fehlerkorrektur beim Auftreten von Büschelfehlern wird hier nicht genutzt.

Eine LDPC-Block-Codierung hilft bei der Fehlerkorrektur. Low-Density-Parity-Check Codes sind Blockcodes, die viele zusammenhängende Paritätschecks durch Matrizen beschreiben. Sie werden auch bei anderen Übertragungsprotokollen, wie etwa bei DVB, eingesetzt. In diesem Fall werden jeweils 7 Bit lange Symbole erzeugt, von denen jeweils vier codiert und drei uncodiert sind.

Weitere Komponenten des Sendepfads

Als Modulation kommt eine so genannte 128-DSQ-Modulation zum Einsatz. DSQ steht hierbei für Double Square Quadrature Amplitude Modulation (QAM), wobei hier zwei gegeneinander versetzte 64QAM Konstellationen verwendet werden. Die drei uncodierten Bits bestimmen hierbei das Feld im Signalraum, in dem dann die vier codierten Bits die jeweilige Position vorgeben.

Der Vorteil, der sich hieraus ergibt, ist, dass die Felder im Signalraum ausreichend weit voneinander entfernt sind, so dass die Bits zur Auswahl dieser Felder nicht durch LDPC geschützt werden müssen. Lediglich die vier Bits zur Positionsbestimmung müssen geschützt werden.

Im nächsten Schritt kommt ein Tomlinson-Harashima-Precoder (THP) zum Einsatz. Dieser ermöglicht eine Vorverzerrung des Signals, um senderseitig die Verzerrungen der Kanalstrecke auszugleichen. Damit die mittlere Sendeleistung nicht zu stark erhöht wird, arbeitet der THP nicht linear. Hierzu wird ein Decision Feedback Equalizer (DFE) auf der Senderseite platziert. Ein DFE wird normalerweise auf der Empfängerseite eingesetzt, um die Überlagerung benachbarter Symbole (Intersymbol Interference – ISI) auszugleichen. Um die Ausgangssignale auf einen vorgegebenen Wertebereich zu beschränken, wird das Ausgangssignal durch eine Modulo-Funktion reduziert.

Im letzten Schritt werden die Signale mit einer 16-stufigen Pulsamplitudenmodulation (PAM16) auf das Medium gegeben.

Training und Adaptivität

Der THP wird ebenso wie die empfängerseitigen Blöcke zur Unterdrückung des Übersprechens (FEXT-, NEXT-, ECHO-Cancellation) durch Trainingssequenzen berechnet. Die Einführung einer expliziten Startup-Sequenz ist als grundsätzliche Neuerung von 10GBase-T hervorzuheben. Dadurch wird Ethernet immer mehr zu einem verbindungsorientierten Protokoll. Die Startup-Sequenz geht deutlich über die einfache Link Pulse hinaus, die bislang im Zusammenhang mit dem Auto Negotiation Protocol (ANP) verwendet wurden.

In der neuen Startup-Sequenz tauschen die beiden PHY-Transceiver nicht nur Trainingsdaten aus. Sie senden sich auch die gemessenen Werte zur Optimierung der Verbindung mit Hilfe eines 16 Byte langen Informationsfeldes zu. Dabei geht man davon aus, dass der kabelgebundene Übertragungskanal zeitlich im Wesentlichen unveränderlich ist.

Die Trainingssequenzen dienen auch dazu, die benötigte Leistung am Sender einzustellen. Diese kann in acht Schritten à 2 dB in einem Variable Gain Amplifier (VGA) reduziert werden, um Abstrahlungen auf benachbarte Kabel möglichst gering zu halten. Mit den Trainingssequenzen wird ebenfalls die automatische Zuordnung der Adernpaare im Kabel vorgenommen, um die Verwendung von Cross-Over-Kabeln zu vermeiden (Auto-MDI/MDI-X).

Allerdings gibt es Bereiche, die man durch die statische Kanaloptimierung nicht beeinflussen kann. Besondere Herausforderungen erzeugt die Störeinstrahlung, etwa von benachbarten Adernpaaren im selben Kabel (Near-end Crosstalk, NEXT). Durch die gestiegenen Frequenzen bei 10GBase-T wird aber auch der Alien Near End Cross Talk (ANEXT) immer entscheidender. Dieser entsteht durch weitere, im Kabelkanal parallel verlaufende Leitungen. Für die Abschirmung gegen ANEXT müssen die Kabelhersteller Vorkehrungen treffen. So können sie die Kabeldurchmesser erhöhen oder eine stärkere Verdrillung verwenden.

Verkabelung und Grenzfrequenzen

Wie lassen sich nun aber Daten mit einer Rate von 10 Gbit/s über ein Kupferkabel mit einer Grenzfrequenz von einigen 100 MHz übertragen? Verteilt man die Daten auf die vier Adernpaare, so ergibt sich pro Adernpaar eine Datenrate von 2,5 Gbit/s. Nutzt man eine Puls-Amplituden-Modulation mit 16 möglichen Amplitudenwerten (PAM-16), bei der aber durch die beschriebene 128 DSQ-Modulation nicht alle Übergänge erlaubt sind, kann man 3 Bits mit einem Symbol übertragen.

Daraus resultiert eine Symbolrate von 833 MSymbolen/s (MBaud). Auf Grund der mehrwertigen Übertragung kann man dann von einer Nyquist-Frequenz von etwa 450 MHz ausgehen. Dabei versteht man unter der Nyquist-Frequenz den höchsten im Signal auftretenden Frequenzanteil.

Dies bedeutet, dass Kabel der Kategorie 6 (Cat. 6) mit einer Grenzfrequenz von 250 MHz nicht mehr ausreichen.

Kabelfrage: Cat-6a, Cat-6e oder Cat-7

Als Ausweg bieten sich drei Möglichkeiten an, die alle von jeder Netzwerkkarte unterstützt werden:

• Es können Kabel der Kategorie 6 „augmented“ (Cat-6a) verwendet werden. Diese heben die Grenzfrequenz auf 625 MHz an, so dass ein Betrieb über die vollen 100 m möglich ist. Cat-6a-Kabel erreichen durch die Verwendung von Kreuzstegen als Separatoren ein deutlich besseres Übersprechverhalten. Die Stege führen allerdings zu einem vergrößerten Kabeldurchmesser und zu größeren Biegeradien für die Kabel.

• Nach statistischen Untersuchungen, auf die sich die Standardisierungsgruppe des IEEE [IEEE Tutorial] stützt, weisen rund 70 Prozent aller Verkabelungen eine Lauflänge von weniger als 55 m auf. Für diese Installationen kann dann auch das etwas kostengünstigere Cat-6e-Kabel verwendet werden, das eine Grenzfrequenz von 500 MHz ermöglicht.

• Natürlich sind auch Kabel der Kategorie 7 mit einer Grenzfrequenz von 600 MHz erlaubt. Hier steht aber eine Umrüstung auf nicht-kompatible Steckverbinder ins Haus, was einen großen Einschnitt bedeutet.

Auf diese Weise kann die Bitfehlerrate weiterhin unter 10E-12 gehalten werden. Dies bedeutet bei Volllastverkehr, dass ungefähr alle 100 s ein Bitfehler passieren darf, der beim Empfänger zum Verwerfen des entsprechenden Rahmens führt.

Bei der Kabelinstallation sind weitere Besonderheiten zu berücksichtigen.

• Die Kabel sollten nicht über allzu lange Strecken parallel und eng gebunden verlegt werden.

• Bei längeren Strecken sollten geschirmte und, wenn möglich, unterteilte Kabelkanäle eingesetzt werden.

• Darüber hinaus erscheint es sinnvoll, spezielle Patch-Panel mit vergrößerten Abständen der Buchsen zu verwenden. Alternativ bieten sich 10GBase-T-Komplettlösungen mit aufeinander abgestimmten Patch-Paneln und Patch-Kabeln an, bei denen der Hersteller die Einhaltung aller Verkabelungsparameter auch bei 100 m Lauflänge garantieren kann.

Produkte und Ausblick

Nachdem der IEEE802.3an-Standard im Sommer 2006 verabschiedet wurde, kommen nun die ersten Produkte auf den Markt:

Erste 10GBase-T-Produkte waren vor allem im Umfeld von Switches zu sehen. Hierbei haben sich vor allem kleinere Hersteller durch eine höhere Entwicklungsgeschwindigkeit hervorgetan, wie etwa Radstone. Die größeren Platzhirsche scheinen noch ein wenig Zeit zu benötigen.

Im Bereich der Speicheranbindung hat beispielsweise Network Appliance eine umfassende 10-Gigabit- Ethernet-Unterstützung für ihre Highend- und Midrange FAS-Produkte (Fabric-Attached Storage) angekündigt. Hier macht sich positiv bemerkbar, dass die Storage-Systeme auf Grund ihrer internen High-Speed I/O-Architektur genügend Bandbreite für ein 10-Gbit/sInterface bieten.

Aber auch im Bereich der PC-Interface-Karten sind erste Produkte angekündigt. Um die Prozessorbelastung möglichst gering zu halten und vor allem um die Schnittstelle zu den PC-internen Bussen möglichst effizient zu nutzen, weisen diese Karten zusätzliche Hardwareunterstützung für die höheren Layer auf. So integrieren beispielsweise die Interface-Karten von Chelsio Communications den gesamten TCP/IP-Stack und sogar iSCSI, wobei vor allem eine Hardwarebeschleunigung eingesetzt wird. Bei der Einführung soll der Preis der Netzwerkkarte bei 1200 US-Dollar liegen. (ala)

Literatur

Sikora, A., „Technische Grundlagen der Rechnerkommunikation: Internet-Protokolle und Anwendungen“, Fachbuchverlag Leipzig im Carl Hanser Verlag, 2003.

IEEE P802.3an Task Force, www.ieee802.org/3/an/index.html

IEEE 802 10GBASE-T Tutorial, www.ieee802.org/3/10GBT/public/nov03/10GBASE-T_tutorial.pdf