Die Big-Data-Formel

Big Data fordert Analyse-Systeme heraus

Bandbreite im Netz muss passen

Weitere Anforderungen stellt Big Data an die Netzwerkinfrastruktur, denn die Netzwerkkomponenten müssen nicht nur ausfallsicher sein, sondern auch hohe Bandbreiten zur Verfügung stellen. Da die Daten während der Verarbeitung mehrfach über das Netzwerk hin- und hergeschickt werden, ist insbesondere eine hohe Bandbreite zwischen den einzelnen Zonen, den Racks, von großer Bedeutung. Die Knoten innerhalb eines Rack tauschen in der Regel noch mehr Daten untereinander aus, so dass hier eine höhere Bandbreite für alle beteiligten Knoten zur Verfügung stehen muss.

Auch in der Ablage der Daten unterscheidet sich ein Big-Data-System stark von üblichen Infrastrukturen: Mit Big Data werden die Daten ohne Bezüge untereinander in einer semistrukturierten Form im System abgelegt. Im Falle von unstrukturierten Quelldaten macht das keinen Unterschied, bei Quelldaten aus relationalen Datenbanken ist dieser Punkt insofern wichtig, als die Struktur für die Ablage aufgelöst werden muss. Sollte eine nachgelagerte Auswertung der Daten mit Zusatzinformationen gefordert sein, so sind dafür Struktur und Bezug wiederherzustellen.

Nicht für Big Data ausgelegt

In vielen Unternehmen sind Beschaffung, Inbetriebnahme und Betrieb von IT-Komponenten nicht zwingend auf die Besonderheiten von Big Data ausgelegt. Der Aufbau einer solch innovativen Infrastruktur benötigt nicht nur Know-how bei der Inbetriebnahme und im Betrieb, sondern auch bei den Anwendern dieses Systems. Dabei ist nicht nur das technische Know-how für die Anwendung von Bedeutung, sondern auch die Kenntnis darüber, wie man aus den neuen Möglichkeiten und Daten Informationen und anschließend Wissen schafft.

Alles in allem stellt Big Data oft eine große Herausforderung dar und ist mit vielen Fragen verknüpft: Ist der Schritt zu Big Data bei großen Datenmengen wirklich immer automatisch der richtige Weg? Ab wann braucht man zwingend ein Big-Data-System? Wo liegen die Grenzen zwischen Big Data und herkömmlichen IT-Systemen? Wie definiert sich Big Data? "Aus IT-Perspektive markiert Big Data die aufkommenden Herausforderungen sowie die neuen technologischen Möglichkeiten für Speicherung, Analyse und Processing schnell wachsender Datenmengen", sagen die Experten des Branchenverbands Bitkom und verweisen auf die vier zentralen Begriffe Datenmenge (Volume), Datenvielfalt (Variety), Geschwindigkeit (Velocity) und Analytics, die Big Data ausmachen.

Big-Data-System im Parallelbetrieb: Ein klassisches Drei-Layer-Data-Warehouse (oben) wird durch ein Hadoop Cluster (unten) ergänzt. Die Ausgabe aus dem Hadoop Cluster wird als Input für das DW verwendet.
Big-Data-System im Parallelbetrieb: Ein klassisches Drei-Layer-Data-Warehouse (oben) wird durch ein Hadoop Cluster (unten) ergänzt. Die Ausgabe aus dem Hadoop Cluster wird als Input für das DW verwendet.
Foto: Opitz Consulting

Auch die Analysten von Gartner verwenden die drei Vs (Volume, Variety, Velocity) in ihrer Definition: Big Data sind viele, in verschiedener Form und hoher Geschwindigkeit anfallende Daten, die eine effiziente und innovative Form der Verarbeitung erfordern, um bessere Einsichten zu erhalten und Entscheidungen zu unterstützen.

Damit umreißen die Definitionen zwar, worum es bei Big Data geht. Konkrete Anhaltspunkte, wie eine dafür ausgelegte Infrastruktur dimensioniert sein sollte, bleiben sie indes schuldig. Die Grenze, bis wann ein herkömmliches System ausreichend ist und ab wann nur ein Big-Data-System eine stabile Lösung schafft, ist wohl fließend. Vielfach lassen sich erhöhte Anforderungen aber noch mit herkömmlichen Maßnahmen lösen, und erst ein darüber hinausgehender, anspruchsvollerer Teil benötigt neue, alternative Herangehensweisen.