Differenziertes Urteil
Testdaten
Bei allen Benchmarks wird der jeweils aktuelle Servicemix (beispielsweise: m POP3-User plus n NNTP-User zur gleichen Zeit) gleitend verändert und dabei die Systembelastung mit einem sich jeweils statistisch verändernden Zuwachs bis auf 100 Prozent geschraubt. Gerät der Server in seinen Grenzbereich, ist eine deutliche Verschlechterung der System-Performance festzustellen. Dies "merken" die Clients – an einer spürbar vergrößerten Latenzzeit oder an einer Zunahme der Fehlermeldungen. In der Praxis muß man versuchen, den Server immer unterhalb dieser Sättigungsgrenze zu "fahren".
Um vergleichbare Ergebnisse zu produzieren, erzeugen Perl-Scripts vor dem eigentlichen Start der Benchmarks eine Reihe unterschiedlicher Testdateien. Um Dateiservices wie NFS oder FTP überprüfen zu können, legt ein Script mehrere tausend Dateien unterschiedlicher Größe an; diese belegen insgesamt 4 GByte. Hierzu gehören einige Dateien mit einer Größe bis zu 15 MByte. Die Mehrzahl bilden jedoch Dateigrößen, die von 10 Byte über ein paar KByte bis zu einigen hundert KByte reichen.
Nach dem Anlegen aller Dateien löscht das Script zufällig ausgewählte Dateien, fügt neue hinzu, löscht wieder, um zum Schluß doch den kompletten Dateisatz auf der Festplatte anzubieten. Da der Dateigenerator hierbei die Dateigrößen wild durcheinander würfelt, bleibt kein Stein mehr auf dem anderen. Dieser Schritt simuliert den Serverbetrieb nach einer gewissen Laufzeit.
Alle Komplettdurchläufe zum Erzeugen der Dateien werden bereits per Perl-Modul "Benchmark" zeitlich mitgeschnitten, so daß man bereits erste Hinweise darauf bekommt, ob das Dateisystem anfällig für Fragmentierung ist oder intern genügend Optimierungen anbietet. Vor dem Lauf zur Dateigenerierung ändern wir keinerlei Parameter des Dateisystemes. Der kundige Sysadmin kann sicherlich etwa unter Unix durch eine gezielte Anpassung beispielsweise der Dateiblockgröße (oft ist ein Bereich von 512 Byte oder 2 KByte auf bis zu 64 KByte möglich) je nach spezifischer Anwendung die Performance des Dateisystems optimieren. Auch der Datei-Cache wird nicht angetastet.
Für den Web-Server werden ebenfalls gesonderte HTML-Dateien erzeugt. Die Dateigröße bewegt sich zwischen etwa 100 Byte und 15 KByte. Der Code enthält Referenzen auf externe Grafiken, deren Größe sich zwischen 150 Byte für normale Icons über 4 KByte für ein Firmenlogo bis hin zu 100 KByte für ausgewachsene Illustrationen bewegt. Links zu den Datei-Testdaten dienen später dazu, den FTP-Transfer über den Web-Server zu untersuchen.
Anhand einiger eingestreuter CGI-Scripts wird diese noch immer weidlich genutzte Schnittstelle näher untersucht. Zum gegenwärtigen Zeitpunkt ist noch nicht festgelegt, ob beziehungsweise wann auch ein Servlet-Test hinzukommen soll. Servlets sind potentiell die Nachfolgetechnologie zu CGI. Sie sind nicht herstellerabhängig wie etwa "Active Server Pages" (ASP) oder "Java Server Pages" (JSP), die als Performance-Killer schlechthin gelten. Während der Benchmark-Läufe kommen zu diesen Dateien noch die Daten hinzu, die beim Erzeugen der E-Mail und News für die beziehungsweise als Teil der entsprechenden Tests anfallen.
