Workshop: Analyse großer Datenmengen mit Apache Storm

Im Auge des Datensturms

von Dr. Holger Reibold

In Unternehmen entstehen Tag für Tag riesige Datenmengen, die kaum noch zu bändigen sind. Dabei handelt es sich um Informationen, die aus unterschiedlichen Quellen wie Geschäftsdaten, Netzwerkknoten oder sozialen Netzen stammen. Für einen reibungslosen Betriebsablauf und als Grundlage für unternehmenskritische Entscheidungen ist eine umfassende Echtzeitanalyse und Auswertung notwendig. Um derartige Datenmengen sortieren zu können, bedarf es eines Big Data-Spezialisten wie Apache Storm. Unser Workshop begleitet Sie bei der Installation eines Storm-Clusters und reißt das Schaffen eigener Topologien an.

Aus IT-Administrator 01/2015

Mit dem Heftschwerpunkt 'IT-Support & Troubleshooting' startet IT-Administrator ins neue Jahr. Dabei zeigen wir Ihnen, auf welchem Weg Sie Ihr eigenes ... (mehr)

Es spielt heute kaum noch eine Rolle, ob das eigene Unternehmen dem produzierenden Gewerbe oder der Dienstleistungsbranche angehört: Die Datenmengen, die es zu verarbeiten gilt, wachsen von Jahr zu Jahr. Heute spülen unterschiedlichste Quellen gigantische Informationen in die Rechenzentren und auf die Rechner der Mitarbeiter. Nicht umsonst ist in diesem Zusammenhang von Big Data die Rede – ein Schlagwort, das die IT-Branche regelrecht zu elektrisieren scheint.

Bei Big Data geht es um die wirtschaftlich sinnvolle Gewinnung und Nutzung entscheidungsrelevanter Erkenntnisse aus qualitativ unterschiedlichen und strukturell höchst diversifizierten Informationen. Erschwerend kommt hinzu, dass diese Rohdaten häufig einem schnellen Wandel unterliegen. Big Data stellt Konzepte, Methoden, Technologien, IT-Architekturen und Tools bereit, mit denen Unternehmen diese Informationsflut in vernünftige Bahnen lenken können.

Storm auf einen Blick

Ursprünglich wurde Storm von Twitter entwickelt und wird seit 2013 unter der Federführung der Apache Software Foundation weiter gepflegt. Es handelt sich dabei um ein skalierbares Open Source-Werkzeug, das auf die Realtime-Analyse großer Datenmengen spezialisiert ist.

Während Hadoop in erster Linie auf Batch-Verarbeitungen setzt, ist Storm ein verteiltes, fehlertolerantes System, das – wie Hadoop – auf die Verarbeitung sehr großer Datenmengen spezialisiert ist. Der entscheidende Unterschied liegt allerdings in der Realtime-Verarbeitung.

Ein weiteres Merkmal ist seine hohe Skalierbarkeit: Storm verwendet den Hadoop ZooKeeper für die Cluster-Koordination und ist daher sehr gut skalierbar. Storm-Cluster gelten außerdem als leichter zu managen. Storm ist so konzipiert, dass jede eingehende Information verarbeitet wird. Topologien können prinzipiell in jeder beliebigen Programmiersprache definiert werden, wobei Storm typischerweise auf

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.