Warum 60 Prozent der Big-Data-Projekte scheitern

Hadoop ist ein komplexes Biest

Skepsis im Hadoop-Lager

Auch andere Anbieter im Hadoop-Umfeld stehen der rasant zunehmenden Euphorie kritisch gegenüber. "Bei Hadoop ist noch viel Hype im Spiel. Viele glauben, dass es eine schnelle Lösung für alle Datenprobleme bietet - doch das ist nicht so. Die Realität ist die, dass Hadoop eine sehr komplexe Technologie ist, die sich noch in den Kinderschuhen befindet und nur von sehr erfahrenen Experten beherrscht wird", sagt Kelly Stirman, Produkt-Marketing-Chef bei 10gen.

Ähnlich sieht es Ashish Thusoo, CEO von Qubole. "Der Anteil der fehlgeschlagen Hadoop-Projekten ist erstaunlich groß, was meiner Ansicht nach vor allem an der Komplexität des Produktes und dem mangelnden Know-how bezüglich der Implementation und dem Tuning großer Hadoop-Cluster liegt." Concurrents CEO Gary Nakamura sieht bereits die Stunde der Wahrheit für Hadoop heraufziehen. "2015 ist das Jahr, in dem die Hadoop-Projekte beweisen müssen, dass sich ihr Einsatz lohnt, entweder indem Aufgaben von Legacy-Anwendungen übernommen werden konnten oder in Form von neuen Big-Data-Lösungen, die man anders nicht hätte angehen können."

Das scheint das Gebot der Stunde zu sein, denn selbst die Unternehmen, die sich vollends Hadoop verschrieben haben, berichten von harten wirtschaftlichen Zeiten. Nachdem der Hadoop-Spezialanbieter Hortonworks im vorigen Jahr erstmals seine Geschäftszahlen veröffentlichen musste, stellte sich heraus, dass statt der angekündigten 100 Millionen Dollar Jahresumsatz nur 33 Millionen Dollar in neun Monaten umgesetzt wurden.

Diese vier Punkte sind zu beachten

Dells Softwareentwicklungschef Guy Harrison spricht bereits von einer Hadoop-Katerstimmung, und er glaubt, der Sache auf den Grund gekommen zu sein. "Das Programmieren von Hadoops MapReduce ist vergleichbar mit der Programmierung in Assembler: großer Funktionsumfang, aber kompliziert und aufwendig", sagt er über die Nutzungsprobleme von Hadoop.

Weitere Gründe für die hohe Misserfolgsrate dieser Projekte sind seiner Ansicht nach:

  • Mangelhafte Sicherheit
    Hadoop wurde für die Internetsuche entwickelt, also für die Verarbeitung von öffentlich zugänglichen Informationen - nicht für Firmengeheimnisse oder persönliche Daten.

  • Backup-Probleme
    Nur die MapR-Distribution verfügt über ein Snapshot-Feature.

  • Primitive Ressourcenverwaltung
    Es entstehen beispielsweise erst jetzt Funktionen, mit denen Ad-hoc-Anforderungen abgeblockt werden können, um geschäftskritische Prozesse nicht zu gefährden.

  • Fehlende Online-Features

"Viele dieser Schwächen sind zwar allgemein bekannt, doch sie werden immer wieder ignoriert, sodass sich erst bei einem fortgeschrittenen Projektverlauf die zugehörigen Probleme einstellen", berichtet Harrison über seine Erfahrungen mit Kunden.

Schlechte Aussichten

Man soll aber nicht glauben, dass Hadoop das einzige Sorgenkind im Bereich Big Data ist. Auch andere Projekte leisten bei Weitem nicht das, was man sich davon versprochen hat - und dieser Trend wird weiter anhalten. Laut Gartner werden in den nächsten zwei Jahre 60 Prozent aller Big-Data-Projekte nicht über den Pilotstatus hinauskommen. "Es werden wesentlich mehr Projekte erfolglos eingestellt als erfolgreiche Projekte in Betrieb genommen", sagt Gartners Research Director Svetlana Sicular.