Deutschlands neuer Number Cruncher: Der Supercomputer HLRB II
Aufbau des Interconnect
Der NumaLink4-Interconnect der Altix 4700 verbindet die einzelnen Blades miteinander. Er unterscheidet sich von handelsüblichen Netzwerk-Technologien dadurch, dass der Zustand des gesamten Hauptspeichers zu jeder Zeit für alle Prozessoren sichtbar ist. Darüber hinaus ist die Latenz beim Zugriff auf Daten auf anderen Blades gering.
Der Interconnect besteht aus 8-Port-Routern, 8-Port-Metaroutern und Kabelverbindungen der Nodeboards mit den Routern sowie der Router mit den Metaroutern. Jede Kabelverbindung leistet 6,4 GByte/s (3,2 GByte/s je Richtung non-blocking). Die Router und Metarouter sind als non-blocking Crossbar-Einheiten realisiert und verfügen über acht NumaLink Ports (acht Eingänge und acht Ausgänge). Der Grundbaustein einer Partition ist ein Blade-Chassis, das über zehn Blade-Schächte verfügt, in die Prozessor- oder Ein/Ausgabe-Blades eingebracht werden können. Die NumaLink-Ports werden dabei mit der Backplane verbunden, die die Verbindung dieser zehn Blade-Slots untereinander und zu anderen Blades hin bereitstellt.
Die 8-Port-Router verbinden jeweils vier Prozessor-Blades und (maximal) einen I/O-Blade untereinander und über eine zweistufige Hierarchie von Meta-Routern (hier nicht gezeigt) mit dem System-Interconnect. Diese zweistufige Hierarchie ist doppelt ausgelegt, sodass man die Topologie des Interconnects auch als „dual plane fat tree“ bezeichnet. Auf ihrer Basis beruht die Kommunikation innerhalb einer 256-Prozessor-Partition. Für die Kommunikation zwischen unterschiedlichen Partitionen stehen ebenfalls NumaLink4-Verbindungen zur Verfügung. Diese sind jedoch nur als sogenannte „Mesh-Topologie“ ausgelegt und weisen damit weniger Übertragungsbandbreite auf.