Vorausschauend agieren mit Streaming Analytics

Mit Business-Intelligence-Systemen gewinnen heute viele Unternehmen aus Daten entscheidungsrelevante Informationen. Doch die zugrunde liegenden Daten sind vergangenheitsorientiert. Sie werden meist einem zentralen Data Warehouse entnommen und sind nicht aktuell, denn sie haben vergleichsweise lange Latenzzeiten von wenigen Tagen bis zu einem Monat. Feingranulare Analysen sind damit nicht möglich, da die Daten aggregiert bereitstehen.

Alle Gesellschaftsbereiche betroffen

Da herkömmliche Verfahren große Datenmengen kaum effizient verwalten und analysieren können, kam das mittlerweile etablierte Paradigma Big Data auf. Zur schieren Datenmenge ist nun die Herausforderung der kontinuierlichen Datenströme gekommen: Sensoren, Geldautomaten oder Online-Shops sammeln hochfrequente Datenströme dezentral und rund um die Uhr. Alle Bereiche unserer Gesellschaft sind davon betroffen: Finanzsektor, Überwachung und Strafverfolgung, industrielle Produktion sowie das Verkehrswesen. In diesen Bereichen geht es darum, die Daten in Echtzeit zu sammeln, zu bearbeiten und zu analysieren, um daraus Prognosen zu erstellen sowie Muster und Ausreißer zu identifizieren.

Streaming Analytics

Streaming Analytics hat das Ziel, Datenströme in Echtzeit zu bearbeiten und auszuwerten. Doch große Datenvolumina und hochfrequente Datenströme schließen den Einsatz von Data Warehouses aus, da Letztere Daten in zeitaufwendigen Verfahren zentral sammeln, speichern, bearbeiten und auswerten. Datenströme werden heutzutage dezentral erfasst, daher ist eine Bearbeitung und Analyse in Echtzeit nur auf dezentraler, verteilter Basis per Distributed und Parallel Computing denkbar. Zu den bekanntesten Streaming-Analytics-Anwendungen gehören:

• Mikrosegmentierung in Echtzeit, um maßgeschneiderte Angebote zu erstellen,

• Empfehlungssysteme, um potenzielle Kunden auf weitere Produkte aufmerksam zu machen,

• Churn-Management, um die "Kundenabwanderung" zu reduzieren,

• Mustererkennung, um Kreditkartenbetrug oder Steuerhinterziehung aufzudecken,

• Durchsuchen von Daten, um Abhängigkeiten zwischen Parametern zu entdecken, und

• Monitoring von komplexen Produkten wie Transportmitteln und Anlagen, um bei Problemen rechtzeitig zu intervenieren - beispielsweise durch die vorbeugende Bereitstellung von Ersatzteilen.

Streaming-Analytics-Systeme müssen Datenströme mit hohen Durchlaufgeschwindigkeiten schnell und zuverlässig bearbeiten. Anwendungen mit mehreren Millionen Transaktionen pro Sekunde sind beispielsweise im Finanzhandel gang und gäbe. Die gesammelten Daten sind nicht nur hochfrequent, sondern manchmal zudem heterogen und unstrukturiert, zum Beispiel die von Sensoren gesammelten Audio- und Videosignale. Mit Verfahren der Signalverarbeitung wie Filtern und Glätten werden die Daten bereinigt und angeglichen, um störende Faktoren wie Rauschen und Übertragungsfehler zu eliminieren.

Abschließend folgt die analytische Auswertung mithilfe von Statistik oder Data Mining. Die analytischen Verfahren sollen minimale Anforderungen an Geschwindigkeit (etwa mit verteilter paralleler Bearbeitung) und Genauigkeit erfüllen. Dazu ist ein Kompromiss zwischen Geschwindigkeit und Genauigkeit notwendig. Um ihre Genauigkeit einzuhalten, sollten sie sich automatisiert an veränderte Rahmenbedingungen anpassen. Das Paradigma des Streaming Analytics lässt sich ohne Einschränkungen auch bei Big Data anwenden und integriert folgende Disziplinen:

• verteilte Datenhaltung und -verarbeitung,

• Signalverarbeitung sowie

• Statistik und Data Mining.