Das Software-Framework im Überblick

Big Data: Mit Hadoop große Datenmengen im Griff

Hadoop im Einsatz

Viele große Internet-Companies, die zum Teil auch an der Entwicklung des Software-Frameworks beteiligt waren, setzen Hadoop bereits ein, auch als Basis ihrer geschäftskritischen Systeme.

Facebook nutzt das Hadoop-System zum Beispiel als Warehouse für Webanalysen, als Speicher für die verteilte Datenbank sowie als Backup für die SQL-Datenbank. 2010 lagerten bereits mehr als 20 Petabyte Daten im Hadoop-Cluster. Ein Jahr später waren es schon 30 Petabyte.

Yahoo, das maßgeblich an der Entwicklung von Hadoop beteiligt war und auch viel eigenen Code an die Apache-Foundation weitergereicht hat, begann 2008 mit einem 10.000 Rechenkerne umfassenden Cluster. Eigenen Angaben zufolge ließ sich damit der Aufbau der "Webmap", eines Yahoo-internen Index aller bekannten Webseiten inklusive der damit verbundenen Metadaten, um den Faktor 33 beschleunigen.

eBay hat die Zahl seiner Server im Hadoop-Cluster innerhalb eines Jahres verfünffacht und betreibt derzeit mehr als 2500 Rechenknoten in diesem System. Der Betrieb von eBay hänge inzwischen auch von Hadoop ab, geben die Verantwortlichen des Online-Auktionshauses unumwunden zu.

Dieser Artikel basiert auf einem Beitrag unserer Schwesterpublikation Computerwoche. (cvi)