Workshop: Open Source-Tools zum Log-Management unter Linux

Ausgesiebt

von Tim Schürmann

Schon in kleinen Netzen spucken die laufenden Dienste zahlreiche Log-Daten aus. Administratoren laufen dann nicht nur Gefahr, eine Fehlermeldung zu übersehen: Einem Problem auf die Spur zu kommen, ähnelt dann auch der Suche nach einer Nadel im Heuhaufen. Die Informationsflut bändigen wollen Fluentd, Graylog2, Logstash und Octopussy.

Aus IT-Administrator 03/2015

Das Monitoring der IT-Umgebung steht im März auf der Agenda des IT-Administrator. So lesen Sie in der Ausgabe, wie sich Open-Source-Tools wie Logstash, ... (mehr)

Werkzeuge zum Log-Management sammeln Log-Daten aus zahlreichen Quellen ein, werfen nicht benötigte Informationen über Bord und bereiten den Rest zur Weiterverarbeitung auf. So lassen sich etwa gezielt die Fehlermeldungen aller im Netz laufenden Apache-Webserver herausfischen. Die dabei zugrunde liegenden Filter-Kriterien gibt der Administrator vor. Je nach Werkzeug klickt er entweder passende Regeln in einer Benutzeroberfläche zusammen oder notiert einen regulären Ausdruck. Die gefilterten und aufbereiteten Daten wandern zur Archivierung in eine Datenbank oder aber weiter in andere Anwendungen. Die komplette Vorgehensweise veranschaulicht Bild 1. Nach diesem Prinzip arbeiten Fluentd, Graylog2, Logstash und Octopussy. Alle vier Werkzeuge werden aktiv weiterentwickelt, stehen unter einer Open Source-Lizenz, können Daten aus mehreren Quellen gleichzeitig anzapfen und lassen sich über Plug-Ins in ihrem Funktionsumfang erweitern. Graylog2, Logstash und Octopussy können zudem die Log-Daten durchsuchen, analysieren und Statistiken erzeugen.

Fluentd

Der "Open Source Data Collector" Fluentd sammelt lediglich die Log-Daten von verschiedenen Quellen ein, filtert die Informationen und leitet den bereinigten Datenbestand weiter [1]. Administratoren dürfen die Ereignisse weder statistisch auswerten noch gezielt durchsuchen. Intern wandelt Fluentd die eingehenden Daten wann immer möglich in das JSON-Format um [2]. Auf diese Weise will das Werkzeug die Weiterverarbeitung vereinheitlichen. Die Entwickler bezeichnen Fluentd daher auch als "Unified Logging Layer".

Die einströmenden Daten kann Fluentd sowohl im Hauptspeicher als auch in Dateien puffern, sodass im Fall der Fälle keine wichtigen Informationen verloren gehen. Darüber hinaus lassen sich mehrere Fluentd-Instanzen starten und sowohl parallel betreiben als auch hintereinanderschalten. Dies erhöht die

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.