Supercomputer-Benchmarks

Sinn und Unsinn von Benchmarks

Die theoretische maximale Gleitkommaleistung eines Systems, die "Peak Performance", kann sehr leicht berechnet werden, indem man die theoretisch mögliche Anzahl der Gleitkommaoperationen der CPU pro Takt mit dem Takt und der Anzahl der Prozessoren multipliziert. Diese Angabe wird von den Herstellern gerne verwendet, um die Leistungsfähigkeit ihres Systems zu demonstrieren.

Dieser Wert bietet aber wenig Aussagekraft für die Geschwindigkeit realer Anwendungen. Die Leistung eines Systems hängt in der Praxis nicht nur von der reinen CPU-Leistung ab, sondern auch von anderen Eigenschaften wie der Speicherbandbreite und -latenz. Daher ist es notwendig, mit einem Benchmark die realistische Performance eines Systems zu messen.

Natürlich hängt dabei die gemessene Performance wiederum stark von den verwendeten Algorithmen ab, da jeder Algorithmus andere Anforderungen an ein System stellt. So wird ein Problem, das sich gut parallelisieren lässt und viel mit lokalen Daten arbeitet, mit der Anzahl der Prozessoren skalieren. Systeme mit zehntausenden von Prozessoren erhalten dadurch ein Ranking, das sie in der Praxis nicht erreichen.

Benchmarks für Supercomputer sind daher nicht weniger umstritten als für Desktop-Systeme oder Server. Es ist generell sehr schwierig, die Leistung eines Systems zu messen, da unterschiedliche Anwendungen auch sehr unterschiedliche Anforderungen an ein System stellen. Daher ist schon die Aussagekraft von Benchmarks für normale Arbeitsplatzrechner zweifelhaft.

Die objektive Leistungsmessung von Supercomputern gestaltet sich noch schwieriger, da die dort eingesetzten Applikationen, wie etwa Partikelsimulationen oder Rechnungen aus der Quantenchemie, vollkommen unterschiedliche Anforderungen an den Rechner stellen. Ein Benchmark bevorzugt daher, je nachdem welche Komponenten besonders beansprucht werden, die eine oder die andere Systemarchitektur.