Weed-FS: neues Dateisystem für große Datenmengen

21.10.2013

Ein neues verteiltes Dateisystem ist auf häufige Lesevorgänge bei großen Datenmengen optimiert.

Unter dem Namen Weed-FS gibt es ein neues Dateisystem, für sehr große Datenmengen ausgelegt ist, die von Anwendungen oft gelesen werden. Dabei orientiert es sich an der Storage-Methode, die Facebook bei der Speicherung von Fotos verwendet und in dem Paper "Finding a needle in Haystack: Facebook’s photo storage" dargelegt hat. Der Schlüssel zu hoher Leserperformance liegt dabei in der Minimierung und der Verteilung von Metadaten, die nach den Untersuchungen Facebooks auf konventionellen Dateisystemen wie NFS zu einem großen Overhead führten.

Weed-FS verzichtet wie die Haystack-Software auf die klassische Posix-File-Semantik, also beispielsweise die Vergabe von Dateirechten. Stattdessen bietet Weed-FS einen einfachen Key-Value-Storage, der über mehrere Rechner verteilt ist. Auch die Metadaten zu jedem Objekt, die nur etwa 40 Bytes umfassen, liegen im Hauptspeicher der Knoten und nicht auf dem Masterserver, der somit nicht zu einem Engpass beim Zugriff werden kann.

Weed-FS ist in Go geschrieben und steht als freie Software unter der Apache-2.0-Lizenz.

comments powered by Disqus

Artikel der Woche

Eigene Registry für Docker-Images

Wer selber Docker-Images herstellt, braucht auch eine eigene Registry. Diese gibt es ebenfalls als Docker-Image, aber nur mit eingeschränkter Funktionalität. Mit einem Auth-Server wird daraus ein brauchbares Repository für Images. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Konfigurationsmanagement

Ich konfiguriere meine Server

  • von Hand
  • mit eigenen Skripts
  • mit Puppet
  • mit Ansible
  • mit Saltstack
  • mit Chef
  • mit CFengine
  • mit dem Nix-System
  • mit Containern
  • mit anderer Konfigurationsmanagement-Software

Ausgabe /2021