Supercomputer-Benchmarks: Linpack in der Kritik

Suiten aus Einzel-Benchmarks vs. Applikations-Benchmarks

Sowohl Suiten aus Einzel-Benchmarks als auch Applikations-Benchmarks haben ihre jeweiligen Vor- und Nachteile. Bei einer Benchmark-Sammlung aus Tests der verschiedenen Systemkomponenten bleibt das Problem der Gewichtung der Einzeltests.

Die Einzeltests kann man jedoch auch für verschiedene Maschinen in einem Kiviat-Diagramm auftragen und so sehr gut beurteilen, welche Maschine am besten für die eigene Applikation geeignet ist. Dies setzt natürlich eine gute Kenntnis der eingesetzten Applikation voraus. Da im High Performance Computing sehr oft eigener Code eingesetzt oder Software genutzt wird, die im Quellcode vorliegt, ist diese Kenntnis jedoch meist vorhanden.

Applikations-Benchmarks ermöglichen auch bei weniger guter Kenntnis des eingesetzten Programms, etwa bei der Verwendung von kommerziellen Applikationen, Rückschlüsse auf die Eignung für den eigenen Einsatzzweck. Die Benchmarks besitzen damit auch für industrielle Anwendungen und die mit der Beschaffung verbundenen Entscheidungsprozesse eine gute Grundlage. Nachteil ist jedoch, dass ein aussagekräftiger Applikations-Benchmark schwierig zu entwerfen ist. Dabei muss man sich sehr viel mehr auf die Entwickler des Benchmarks verlassen, als dies bei Einzeltests nötig ist.

Um die Eignung eines Systems für eine bestimmte Anwendung zu beurteilen, muss daher immer die eigene Anwendung in einem Testlauf auf dem System analysiert werden. Dies ist zum Beispiel bei der Beantragung von Rechenzeit in einem nationalen Hochleistungsrechenzentrum, wie dem Forschungszentrum Jülich, üblich.