Neue Technologien für das Datenmanagement

Datenströme neu gelenkt

Schon für die nahe Zukunft werden enorme Massen an unstrukturierten Daten prognostiziert. Dazu kommen neue, immer dichtere Speichermedien und gestiegene Ansprüche an die analytische Auswertung von Informationen. All diese Faktoren stellen neue Herausforderungen für das Datenmanagement dar und verlangen nach innovativen Lösungen. Einige israelisch-amerikanische Startups zeigen etwa mit neuen Dateisystemen oder verteiltem Speicher, wie diese aussehen könnten.
Während die IT-Budgets in kleineren Unternehmen oft überschaubar ausfallen, sind die Anforderungen dieselben wie in großen Firmen. Die April-Ausgabe widmet ... (mehr)

Wie lassen sich explodierende Datenmassen einfach und sicher verwalten, am besten unabhängig vom darunter liegenden Speichermedium? Und dies trotz immer neuer Datentypen und steigenden Anforderungen, etwa durch Echtzeit-Analytik? Das ist die Gretchenfrage der zukünftigen Speicherwelt, mit ihren Exa- und Zettabyte-Volumina. Das haben auch Branchen-Newcomer erkannt und entwickeln neue Ansätze. Ein besonderer Hotspot befindet sich in Israel.

Dynamische Datenindexierung

Ein Beispiel ist Iguaz.io. Der Name der Firma ist inspiriert durch die bekannten Wasserfälle in Brasilien. Das Unternehmen mit nunmehr 50 Mitarbeitern hat ihren Sitz in Tel Aviv und den USA. Das Team um Gründer und CTO Asaf Somekh hat inzwischen rund 15 Millionen Dollar eingeworben und die "Iguazio Enterprise Data Cloud" sechs Mal implementiert.

Gedacht ist die Datenplattform Enterprise Data Cloud insbesondere für stateless SaaS- und Cloud-native-Apps, IoT-Anwendungen, Echtzeitanalytik und Unternehmens-Data-Lakes, mit denen Big Data als Service unterstützt werden soll. Die Lösung verbessert die Leistung softwareseitig dadurch, dass Daten nicht mehr auf mehreren Ebenen repliziert werden müssen und Metadaten-Operationen auf ein Minimum reduziert werden. Kernelement ist die multidimensionale Indexierung aller Daten samt ihrer Codierung in Echtzeit, sodass sich alle Informationen ohne spezielle Modellierung in einem einheitlichen Index speichern lassen. Das soll die bisher aufwändige Vorbereitung der Daten mehr oder weniger überflüssig machen.

Das mehrschichtige, auf die Cloud zugeschnittene System unterstützt durch entsprechende Schnittstellen Datenabfragen über S3, NFS, HDFS und Linux FS. Streaming-Daten lassen sich mit Kinesis, Kafka und Spark bearbeiten; zudem werden die NoSQL-Datenbanken DynamoDB, Time Series DB und Spark DF unterstützt. Auf der untersten Ebene finden sich beliebige und

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.

Ähnliche Artikel

comments powered by Disqus

Artikel der Woche

Eigene Registry für Docker-Images

Wer selber Docker-Images herstellt, braucht auch eine eigene Registry. Diese gibt es ebenfalls als Docker-Image, aber nur mit eingeschränkter Funktionalität. Mit einem Auth-Server wird daraus ein brauchbares Repository für Images. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Konfigurationsmanagement

Ich konfiguriere meine Server

  • von Hand
  • mit eigenen Skripts
  • mit Puppet
  • mit Ansible
  • mit Saltstack
  • mit Chef
  • mit CFengine
  • mit dem Nix-System
  • mit Containern
  • mit anderer Konfigurationsmanagement-Software

Ausgabe /2021