Neuer Mechanismus für die Ereignisstromverarbeitung

Award für intelligente Datenfilterung

Ein Informatiker der TU Dresden hat den "OpenSPARC Community Innovation Award" mit einer intelligenten Software gewonnen, die große Datenmengen in Echtzeit filtert.

Andrey Brito hat eine neue Methode vorgestellt, wie in Datenströmen eine kleine Anzahl bestimmter Einzelereignisse identifiziert und damit die so genannte Ereignisstromverarbeitung beschleunigt werden kann.

„Im Internetzeitalter wird mehr und mehr Information erzeugt. Sensoren sammeln sie in allen Bereichen, sei das der städtische Verkehrsfluss, die Großwetterlage oder – ganz aktuell – bei einer Börsenkrise“, erläutert der aus Brasilien stammende Andrey Brito.

„Diese riesige Datenmenge stellt traditionelle Datenverarbeitungsmechanismen, die die Daten erst speichern und dann entscheiden, wie sie verarbeitet werden, vor Probleme; sie halten mit der Datenflut einfach nicht mehr Schritt.“ Die Herausforderung für die Ereignisstromverarbeitung ist also, vorbeiströmende Datenmengen geschickt zu filtern und nur Teile davon überhaupt zu speichern.

In der Systems Engineering Group im Fachbereich Informatik der TU Dresden arbeitet Brito daran, einzelne Ereignisse mit Hilfe von Parallelprozessoren gleichzeitig weiterzuverarbeiten. Er hat einen wichtigen Zwischenschritt in die Datenverarbeitung eingefügt. Brito lässt Einzelereignisse, bevor sie an autonom agierende Rechnerarchitekturen übergeben werden, vom „Software Transactional Memory“ (STM) nummerieren und hinsichtlich ihrer Priorität bewerten.

Die Ereignisse werden vom STM sortiert und an Rechner mit freien Kapazitäten vergeben. Auf diese Weise entfällt ein Großteil der Verzögerungen. Diese entstehen, wenn Ergebnisse eines Zwischenschritts für die Weiterverarbeitung anderer Daten nötig sind.

Etwas vereinfacht könnte man sich das wie in einem Supermarkt vorstellen: Das STM verteilt die zum Kassenbereich strömenden Kunden mit ihren mal mehr, mal weniger gefüllten Einkaufswagen so geschickt auf die offenen Kassen, dass die Wartezeit für alle geringer wird. Je nach Komplexität des Datenstroms gelingt dem STM so eine drei- bis sechsfache Steigerung der Effektivität bei der Datenverarbeitung.

Auf diese Weise könnte es beispielsweise künftig möglich werden, kleine Wetterradarstationen auf Mobilfunkmasten zu installieren. So ließen sich die Wege von Hurrikans oder anderen starken Stürmen noch präziser voraussagen.

Auf einer Fachkonferenz in Rom hat Brito das Softwaregedächtnis kürzlich vorgestellt. Die Routine ist als OS-Anwendung für alle Anwender kostenlos. Der OpenSPARC Community Innovation Award ist mit 20.000 Dollar dotiert. (dsc)