Das Software-Framework im Überblick

Big Data: Mit Hadoop große Datenmengen im Griff

15.10.2012 (aktualisiert) | von Martin Bayer (Stellv. Chefredakteur Computerwoche) 
Martin Bayer
Spezialgebiet Business-Software: Business Intelligence, Big Data, CRM, ECM und ERP; mitverantwortlich für die Entwicklung von Themenschwerpunkten; Betreuung von News und Titel-Strecken in der Print-Ausgabe der COMPUTERWOCHE.
Email:
Connect:

Hadoop im Einsatz

Viele große Internet-Companies, die zum Teil auch an der Entwicklung des Software-Frameworks beteiligt waren, setzen Hadoop bereits ein, auch als Basis ihrer geschäftskritischen Systeme.
Facebook nutzt das Hadoop-System zum Beispiel als Warehouse für Webanalysen, als Speicher für die verteilte Datenbank sowie als Backup für die SQL-Datenbank. 2010 lagerten bereits mehr als 20 Petabyte Daten im Hadoop-Cluster. Ein Jahr später waren es schon 30 Petabyte.
Yahoo, das maßgeblich an der Entwicklung von Hadoop beteiligt war und auch viel eigenen Code an die Apache-Foundation weitergereicht hat, begann 2008 mit einem 10.000 Rechenkerne umfassenden Cluster. Eigenen Angaben zufolge ließ sich damit der Aufbau der "Webmap", eines Yahoo-internen Index aller bekannten Webseiten inklusive der damit verbundenen Metadaten, um den Faktor 33 beschleunigen.
eBay hat die Zahl seiner Server im Hadoop-Cluster innerhalb eines Jahres verfünffacht und betreibt derzeit mehr als 2500 Rechenknoten in diesem System. Der Betrieb von eBay hänge inzwischen auch von Hadoop ab, geben die Verantwortlichen des Online-Auktionshauses unumwunden zu.
Dieser Artikel basiert auf einem Beitrag unserer Schwesterpublikation Computerwoche. (cvi)
'Storage-Newsletter' bestellen!
Links zum Artikel






Ihre Meinung zum Artikel
Benutzername:
Passwort: