Big Data fordert Analyse-Systeme heraus

Geschwindigkeit (Velocity)

In Abhängigkeit von anfallenden Datenmengen, verwendeten Algorithmen, vorhandener Hardware und eingesetzten Techniken kann die Verarbeitungszeit der Daten (Transformation, Ablage, Analyse) ein Ausschlusskriterium darstellen. Bestehende Systeme mit langer Historie scheitern in der Tat oft an einem entscheidenden Problem: der Effizienz der verwendeten Algorithmen. Ändern sich die Anforderungen an das System während der Laufzeit, so werden dafür nur selten neue Implementierungen aufgesetzt. Stattdessen werden die bestehenden Implementierungen erweitert. Das führt dazu, dass ähnliche Aufgaben redundant implementiert werden und dadurch wertvolle Verarbeitungszeit verbrauchen.

Im Hinblick auf die Performance bewirkt eine Umstrukturierung der Algorithmen oft einen riesigen Sprung und schafft so neuen Spielraum. Auch die jüngsten Innovationen im Hardwarebereich schaffen neue Freiräume. Wenn beispielsweise die Prozessorleistung den kritischen Faktor bildet, kann dieser über mehrkernige Grafikprozessoren oder kostengünstige Blades optimiert werden.

Der Clou: Das bestehende System lässt sich erweitern, ohne dass ein Umzug notwendig wird. Bei Zugriff und Ablage der Daten bieten die neu entwickelten Flash-Speicher mehr Flexibilität und höhere Performance. Ebenso kann der Einsatz von Datenbanktechniken, angefangen bei der Partitionierung der Tabellen über spaltenorientierte Ablage der Daten bis hin zu den neuen "In Memory"-Ansätzen die Geschwindigkeit der Verarbeitung und damit die Akzeptanz des Systems erhöhen.

Fazit

Lösen die beschriebenen Maßnahmen die bevorstehenden Herausforderungen nicht, so führt kein Weg an einem alternativen Ansatz der Datenverarbeitung, -speicherung und -analyse vorbei. Der Big-Data-Ansatz bietet in dem Fall neue, erweiterte Möglichkeiten für den Umgang mit großen Datenmengen. Doch sollten Unternehmen zunächst prüfen, ob der Aufwand für das neue System den Mehrwert nicht übersteigt.

Eine pauschale Lösung gibt es bei Herausforderungen mit großer Datenmenge und komplexen Zusammenhängen nicht – wann sich ein Big-Data-System lohnt, lässt sich aber schon mit ein wenig analytischem Verständnis gut bewerten: Eine individuelle Analyse der Anforderungen und der vorhandenen Infrastruktur gibt eine klare Antwort darauf, ob das neue System die richtige Herangehensweise ist oder nicht.