Warum 60 Prozent der Big-Data-Projekte scheitern

Hadoop ist ein komplexes Biest

Big-Data-Projekte werden häufig als Universallösung für alle aktuellen Business-Probleme angesehen. Kernstück dieser Projekte ist immer häufiger Hadoop. Doch damit ist diese Technologie weit überfordert - entsprechend häufig sind die Projektpleiten.
Nicht alle Anwender haben mit Hadoop positive Erfahrungen gemacht.
Nicht alle Anwender haben mit Hadoop positive Erfahrungen gemacht.
Foto: ASF

Vor rund zehn Jahren wurde Hadoop bei Yahoo erstmals in einer Produktionsumgebung eingesetzt. Seitdem hat diese Open-Source-Software mit ihrer effizienten Kombination von unstrukturierter Datenspeicherung und schneller Datensuche eine stürmische Entwicklung durchlaufen. Ob Social Media, Big-Data-Analytics oder Search-Engine - nahezu überall wird mit Hadoop zumindest experimentiert. Laut einer Umfrage von Dell sind bei fast allen Fortune-500-Unternehmen Hadoop-Projekte in irgendeiner Form im Einsatz. Die Marktforscher von Forrester gehen davon aus, dass die Hadoop-Nutzung in diesem oder im nächsten Jahr ein Top-Fokus bei allen IT-Abteilungen sein wird.

"Nicht für Prime-Time-Einsatz"

Doch nicht überall verlaufen die Pilot- oder Einführungsprojekte so erfolgreich, wie es die Anbieter gerne darstellen. "Hadoop basiert auf massiver Parallelverarbeitung; das ist eine total andere Verarbeitungsstruktur als man es von den sequentiellen Prozessen der klassischen IT her kennt, und das macht das Einrichten und Betreiben der Hadoop-Cluster so komplex", sagt Michael Walker, Partner bei Rose Business Technologies, ein auf Big Data spezialisiertes Beratungsunternehmen.

Beispielsweise berichtet die Bank of New York, dass man von den ursprünglich hohen Erwartungen inzwischen weit entfernt sei. Dort wurde eine Hadoop-Lösung eingerichtet, um Probleme mit dem Börsenhandelssystem zu entdecken und einzukreisen. "Im kleinen Testrahmen lief alles wunderbar, doch als wir es firmenweit einführten und viele Mitarbeiter gleichzeitig darauf zugriffen, gab es massive Probleme", schildert deren Chief Data Officer, David Gleason. Er hat inzwischen alle Pläne für einen Hadoop-Einsatz im Produktionsumfeld verschoben. "Die Skalierung von Hadoop ist äußerst komplex, meiner Einschätzung nach ist das Produkt noch nicht reif für den Prime-Time-Einsatz", lautet sein Urteil. Glenda Crisp, verantwortlich für Analytics und Enterprise Data bei der kanadischen TD Bank, hat ähnliche Erfahrungen gemacht - drückt es aber höflicher aus: "Es ist immer riskant, wenn man neue Technologien in eine komplexe Organisation einbringt."

Mehr Glaube als Realität

Bei den Analysten ist man mit den Meinungen deutlicher. "Hadoop ist ein komplexes Biest. Es scheint, dass der Glaube daran größer ist als seine technischen Möglichkeiten", urteilt Gartners Research Director Nick Heudecker.

Er sieht als Ursache dafür vor allem fundamentale Systemschwächen. "Hadoop wurde für das Indexieren von Webseiten entwickelt, doch das ist kein adäquater Ausgangspunkt für die Analyse von Business-Problemen", lautet seine Kritik. Einen besonderen Unterschied sieht er vor allem darin, dass bei allen großen Unternehmen eine heterogene IT-Infrastruktur anzutreffen ist. "Es erfordert viel Know-how und Zeit, um Hadoop mit Legacy-Anwendungen und deren strukturierten Daten zu verbinden - doch genau das ist es, was bei Großunternehmen gefordert wird", führt er weiter aus.