GNU/Linux >> LINUX-Kenntnisse >  >> Linux

Eine Einführung in die Überwachung mit dem ELK-Stack

Die Überwachung von IT-Systemen ist ein proaktives Mittel zur Überwachung von Systemen mit dem Ziel, Ausfälle und Ausfallzeiten zu verhindern. Es beinhaltet die Messung des aktuellen Verhaltens gegenüber vorgegebenen Basislinien. Einige der häufig überwachten Geräte sind CPU-Auslastung, Speicherauslastung, Netzwerkverkehr über Router und Switches und Anwendungsleistung, was bei der Durchführung von Ursachenanalysen sehr hilfreich ist.

Es gibt viele Systeme, aber nicht alle können eine zentralisierte, umfassende Überwachung bieten. Systemadministratoren überwachen ihre Systeme manchmal mit Skripten. Einige verwenden Cronjobs beim Schreiben und Konfigurieren ihrer Bash-Skripts, sodass sie eine E-Mail erhalten, wenn sich die Baseline ändert. Als jemand, der sich mit Überwachungssystemen beschäftigt, habe ich mir die Anwendungen des ELK-Stacks als Option angesehen.

[ Vielleicht möchten Sie auch Cerebro als WebUI verwenden, um einen ELK-Cluster zu verwalten. ]

ELK ist ein Akronym für mehrere Open-Source-Tools:Elasticsearch, Logstash und Kibana. Elasticsearch ist die Engine des Elastic Stack, die Analyse- und Suchfunktionen bereitstellt. Logstash ist verantwortlich für das Sammeln, Aggregieren und Speichern von Daten, die von Elasticsearch verwendet werden sollen. Kibana bietet die Benutzeroberfläche und Einblicke in Daten, die zuvor von Elasticsearch gesammelt und analysiert wurden.

Elasticsearch

Elasticsearch bietet Echtzeitsuche und -analyse für alle Datentypen, ob strukturiert, unstrukturiert oder numerisch. Es kann Daten effizient so speichern und indizieren, dass die schnelle Suche und der Abruf verbessert werden. Es kann auch Daten aggregieren, um Trends und Muster zu erkennen, wenn das Daten- und Abfragevolumen wächst. Elasticsearch ist skalierbar, und wenn die Datenmenge wächst, stellt das Programm zusätzliche Knoten bereit, um den Bedarf zu decken. Aufgrund seiner Geschwindigkeit ist Elasticsearch in vielen Fällen eine enorme Hilfe, z. B. bei der Suche nach einer Website oder der Analyse von Sicherheitsereignissen.

Logstash

Logstash sammelt Daten aus mehreren Quellen, transformiert sie und sendet sie dann zur Analyse an Elasticsearch. Kurz gesagt, es empfängt Eingaben und filtert sie in hilfreiche Ausgaben für die anderen Engines. Eingaben stammen hauptsächlich aus Dateien, Syslogs und einigen leichtgewichtigen Protokollversendern namens Beats. Beats sind kleine Pakete, die auf Zielgeräten installiert werden, um Logstash mit Informationen zu versorgen. Sie können in Form von Filebeats (Protokolle und Dateien), Packetbeats (Netzwerkpaket), Winlogbeats (Windows-Ereignisprotokolle), Metricbeats (System- und Dienststatistiken) und anderen vorliegen.

Logstash empfängt die Dateien, filtert die Daten, bringt die Dateien in ein unterstütztes Format und gibt sie dann an Elasticsearch aus. Es kann auch eine Ausgabe in eine Datei, Grafik oder mehrere andere Formate generieren.

Kibana

Kibana, das letzte Tool im Stack, ist für die Visualisierung der in Elasticsearch gespeicherten Daten verantwortlich. Mit Kibana können Sie die Daten untersuchen sowie den gesamten ELK-Stack verwalten und überwachen. Kibana gibt Ihren Daten Form und bietet die Möglichkeit, im ELK-Stack zu navigieren. Kibana hilft Ihnen bei der Suche nach verborgenen Erkenntnissen und visualisiert dann, was Sie in Diagrammen, Messgeräten, Karten und mehr finden. Sie können diese Informationen dann in einem Dashboard kombinieren. Kibana überwacht auch den Zustand des ELK-Stacks. Schließlich steuert es Benutzer und ihre Zugriffsebene im Ökosystem.

Kibana wird standardmäßig mit Histogrammen, Liniendiagrammen, Tortendiagrammen, Sunbursts und mehr geliefert. Es unterstützt auch hochverfügbare, skalierbare Benachrichtigungen per E-Mail, Webhooks, Jira, Microsoft Teams, Slack und andere Tools.

[ Kostenloser Kurs:Technischer Überblick über Red Hat Satellite. ]

Abschluss

ELK ist ein umfassendes System, das dem Systemadministrator und der gesamten IT-Abteilung helfen kann. In meinem nächsten Artikel schaue ich mir die Installation und Konfiguration des Stacks an und beschreibe mehrere reale Testszenarien.


Linux
  1. Eine Einführung in die Verwendung von tcpdump auf der Linux-Befehlszeile

  2. Eine Einführung in die GNU Core Utilities

  3. Installieren des ELK-Stacks unter Ubuntu 14.04

  4. Eine Einführung in den diff-Befehl

  5. So installieren Sie den ELK-Stack unter CentOS 7

So überwachen Sie den Fortschritt von Daten durch eine Pipe mit dem Befehl „pv“.

So installieren Sie ELK Stack (Elasticsearch, Logstash und Kibana) unter Ubuntu 20.04

So installieren Sie den ELK-Stack auf AlmaLinux 8

So installieren Sie den ELK-Stack unter CentOS 7

So installieren Sie den ELK-Stack unter CentOS 8

So installieren Sie den ELK-Stack unter Debian 8