Big Data intelligent managen und nutzen

Mit starker Basis zur effektiven Analyse

Die Möglichkeiten, die in Big Data stecken, sind enorm. Beispielsweise könnten Unternehmen die massive Anzahl an täglich generierten Tweets, die zurzeit bei etwa 12 Terabyte liegen sollen, für die Trendforschung nutzen und die aus Meinungen und Aussagen gewonnenen Erkenntnisse in der Produktentwicklung einsetzen. Ebenso könnte ein Telekommunikationsanbieter eine Art Frühwarnsystem für wechselwillige Kunden entwickeln, indem er die täglich anfallenden Millionen an Verbindungsdaten analysiert. Laut Forrester nutzen Unternehmen aber bisher einen nur sehr geringen Teil der ihnen zur Verfügung stehenden Informationen (Forrester: Expand Your Digital Horizon With Big Data, 2011). In vielen Fällen machen auch gesetzliche Vorgaben Analysen notwendig. Beispielsweise sorgen neue Regularien wie Basel III oder Solvency II im Finanzsektor dafür, dass Finanzinstitute Transaktionen oftmals in Echtzeit offenlegen müssen. Dafür ist nicht nur eine schnelle Verarbeitung von Terabytes an Daten notwendig, auch aufwendige Analyse- und Modellierungsverfahren sind gefragt.

Solche Verfahren erfordern aber erweiterte analytische Prozesse rund um die unterschiedlichsten Datentypen und -quellen. Das sind zum Beispiel komplexe Textanalysen, Kurvenanalysen oder die Auswertung von Echtzeitströmen von sich in Bewegung befindlichen Daten. Ebenso gibt es in Big-Data-Umgebungen verschiedene Plattformen ergänzend zur Data-Warehouse Datenbankmanagementtechnologie (DBMS) und damit eine komplexere Datenmanagementarchitektur. Diese beinhaltet Hadoop-Plattformen, NoSQL-Datenbanken, Event Stream Processing Engines oder spezialisierte analytische Anwendungen für relationale Datenbankmanagementsysteme. Kurz gesagt: spezielle Systemanwendungen für spezielle Daten.

Die Datenintegrationsstrategie muss nun dafür sorgen, dass alle anfallenden Daten schnell und effizient in eine für die Weiterverarbeitung passende Form gebracht und in das für sie vorgesehene Speichersystem geladen werden. Der Prozess sollte möglichst systemübergreifend funktionieren und auch die Rückführung von Analyseergebnissen in das Datenintegrations-Tool beinhalten.