Der Elastic Stack – bekannt als ELK (Elasticsearch, Logstash und Kibana) – ist eine leistungsstarke Open-Source-Plattform zur Analyse von Daten. Es bietet eine umfassende Reihe von Funktionen zum Indizieren, Suchen, Überwachen und Analysieren von Daten in Echtzeit.
Der Elastic Stack kann lokal oder in der Cloud bereitgestellt werden. Es wird von Start-ups und großen Unternehmen gleichermaßen verwendet, darunter Netflix, Facebook, Goldman Sachs, The Guardian und Thomson Reuters.
Der Elastic Stack besteht aus drei Kernkomponenten:
- Elasticsearch :Eine Such- und Analysemaschine, die Daten schnell indiziert und schnelle Suchergebnisse liefert.
- Logstash :Ein Log-Pipeline-Tool, das Logs aus mehreren Quellen sammelt, parst und speichert.
- Kibana :Ein Datenvisualisierungs- und Analysetool, mit dem Sie Daten suchen, anzeigen, analysieren und teilen können.
Jede dieser Komponenten bietet einzigartige Funktionen und Vorteile.
Elasticsearch ist eine schnelle, skalierbare und benutzerfreundliche Such- und Analysemaschine, die Daten schnell indiziert und schnelle Suchergebnisse liefert. Es eignet sich perfekt für Echtzeitanwendungen wie Website-Suche, Produktkataloge, Kundensupport und Analyse von Sicherheitsereignissen.
Logstash ist ein Protokoll-Pipeline-Tool, das Protokolle aus mehreren Quellen sammelt, analysiert und speichert. Es hilft Ihnen, Ihre Daten dorthin zu bringen, wo sie hin müssen, wenn sie dorthin gehen müssen. Logstash kann auch verwendet werden, um Ihr System nahezu in Echtzeit zu überwachen, sodass Sie Probleme erkennen und beheben können, bevor sie ernst werden.
Kibana ist ein Datenvisualisierungs- und Analysetool, mit dem Sie Daten suchen, anzeigen, analysieren und teilen können. Mit Kibana können Sie schnell Einblicke in Ihre Daten gewinnen und sehen, wie sich Ihr Unternehmen entwickelt. Kibana macht es einfach, benutzerdefinierte Dashboards zu erstellen, sodass Sie die für Sie wichtigsten Kennzahlen verfolgen können.
Elastic Stack ist eine der beliebtesten Big-Data-Lösungen, und das aus gutem Grund. Es ist einfach einzurichten, skalierbar und bietet eine Fülle von Funktionen zum Indizieren, Suchen, Überwachen und Analysieren von Daten.
Wenn Sie nach einer leistungsstarken Open-Source-Plattform zur Analyse von Daten suchen, ist der Elastic Stack eine Überlegung wert.
ELK Stack wurde entwickelt, um es Entwicklern zu ermöglichen, Daten schnell in einen durchsuchbaren und analysierbaren Zustand zu bringen, ohne dass eine Armee von Beratern erforderlich ist. Benutzer können Daten aus beliebigen Quellen entnehmen und Kibana und/oder Logstash verwenden, um die Daten in einer Zeitreihe zu visualisieren.
Elasticsearch ist eine verteilte, REST-konforme Such- und Analyse-Engine, die Daten schnell indiziert und schnelle Suchergebnisse liefert. Es eignet sich perfekt für Echtzeitanwendungen wie Website-Suche, Produktkataloge, Kundensupport und Analyse von Sicherheitsereignissen.
In diesem Tutorial führen wir Sie durch die Schritte zur Installation von Elastic Stack auf einem Ubuntu 20.04-Server.
Voraussetzungen
- Minimale Installation von Ubuntu Server 20.04 LTS mit SSH-Zugriff und einem Nicht-Root-Benutzer mit sudo-Berechtigungen.
- Mindestens 4 GB RAM, 2 CPUs und 20 GB Festplattenspeicher verfügbar.
Aktualisieren des Systems
Es empfiehlt sich, Ihre Serverpakete auf dem neuesten Stand zu halten. Führen Sie den folgenden Befehl aus, um Ihren Repository-Cache zu aktualisieren:
sudo apt update && sudo apt upgrade -y
Führen Sie nach Abschluss der Aktualisierung den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren.
sudo apt install wget apt-transport-https curl gnupg2 -y
Java installieren
Elasticsearch benötigt zur Ausführung Java. Ubuntu 2.04 wird mit Java 8 und Java 11 geliefert, aber einige Plugins sind möglicherweise nicht mit Java 11 kompatibel, daher werden wir Java 8 installieren.
Führen Sie den folgenden Befehl aus, um Java 8 auf Ihrem System zu installieren.
sudo apt install openjdk-8-jdk -y
Sobald die Installation abgeschlossen ist, können Sie die auf Ihrem System installierte Java-Version überprüfen, indem Sie den folgenden Befehl ausführen.
java -version
Die Ausgabe sollte in etwa so aussehen.
Elasticsearch installieren
Das standardmäßige Ubuntu 20.04-Repository enthält Elasticsearch nicht, es kann jedoch einfach mit APT installiert werden, nachdem das offizielle Elastic-Repository vom Elasticsearch-Entwicklerteam hinzugefügt wurde.
Laden Sie zunächst den öffentlichen Signaturschlüssel herunter (Elasticsearch erledigt dies automatisch), indem Sie den curl-Befehl verwenden, um Pakete zu validieren. Pakete werden mit diesem Schlüssel signiert, um ihre Authentizität sicherzustellen. Wir verwenden die -fsSL-Argumente, um curl anzugeben, dass wir den gesamten Fortschritt stummschalten und cURL ermöglichen möchten, eine Anfrage an die angegebene URL zu stellen.
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
Sie erhalten eine OK-Meldung, wenn der Schlüssel erfolgreich hinzugefügt wurde.
Fügen Sie als Nächstes das Elasticsearch-Repository zu Ihrem System hinzu, indem Sie den folgenden Befehl ausführen. Wir werden elastic-7.x.list zum Verzeichnis sources.list.d hinzufügen. Das Verzeichnis sources.list.d ist ein spezielles Verzeichnis in Ubuntu, in dem Sie zusätzliche Quellen für Software hinzufügen können. Das APT-System verwendet diese Dateien, um verfügbare Pakete zu finden.
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
Aktualisieren Sie dann Ihren Repository-Cache, um das neue Elasticsearch-Repository zu lesen.
sudo apt update
Jetzt können Sie Elasticsearch installieren, indem Sie den folgenden Befehl ausführen.
sudo apt install elasticsearch -y
Sobald die Installation abgeschlossen ist, müssen wir Elasticsearch konfigurieren. Die Datei /etc/elasticsearch/elasticsearch.yml ist die Hauptkonfigurationsdatei für alle Elasticsearch-Einstellungen. Beispielsweise definiert der Parameter network.host, an welche IP-Adresse oder welchen Hostnamen der Elasticsearch-Dienst gebunden werden soll.
Lassen Sie uns die Datei mit dem Nano-Texteditor öffnen.
sudo nano /etc/elasticsearch/elasticsearch.yml
Die meisten dieser Einstellungen sind vorkonfiguriert, aber Sie können sie an Ihre Bedürfnisse anpassen. In diesem Beispiel ändern wir nur die Netzwerk-Host-Einstellung. Wir werden den Host auskommentieren und ändern:zu localhost, damit Elasticsearch auf jeder Schnittstelle lauschen kann. Wenn Sie eine bestimmte Schnittstelle verwenden möchten, können Sie localhost durch die spezifische IP-Adresse oder den Hostnamen ersetzen.
Vorher:
Nachher:
Wenn Sie mit den Änderungen fertig sind, speichern Sie die Datei, indem Sie STRG+X, Y und die Eingabetaste drücken. Starten Sie nun Elasticsearch mit dem folgenden Befehl. Der Startvorgang kann einige Minuten dauern, seien Sie also geduldig.
sudo systemctl start elasticsearch
Führen Sie die folgenden Befehle aus, damit Elasticsearch beim Booten automatisch gestartet wird.
sudo systemctl enable elasticsearch
Jetzt können Sie die Installation testen, indem Sie den folgenden Befehl ausführen.
curl -X GET "localhost:9200"
Sie sollten die folgende Antwort von Ihrem lokalen Knoten sehen.
Kibana installieren
Nachdem wir Elasticsearch eingerichtet und ausgeführt haben, können wir Kibana installieren. Kibana ist eine visuelle Schnittstelle für Elasticsearch, mit der wir unsere Daten durchsuchen und visualisieren können.
Sie sollten das Kibana Dashboard immer direkt nach der Installation des Elasticsearch-Servers installieren. Dadurch wird sichergestellt, dass alle Komponenten und Einstellungen des Elastic Stack korrekt vorhanden sind.
Führen Sie den folgenden Befehl aus, um Kibana zu installieren.
sudo apt install kibana -y
Sobald die Installation abgeschlossen ist, müssen wir Kibana konfigurieren. Die Datei /etc/kibana/kibana.yml ist die Hauptkonfigurationsdatei für alle Kibana-Einstellungen. Beispielsweise den Port, an den der Kibana-Dienst gebunden werden soll, die Einstellung elasticsearch.url definiert, auf welche Elasticsearch-URL Kibana verweisen soll, und andere Sicherheitseinstellungen.
Lassen Sie uns diese Datei mit dem Nano-Texteditor öffnen.
sudo nano /etc/kibana/kibana.yml
In diesem Beispiel werden wir diese Zeilen auskommentieren:server.port, server.host und elasticsearch.hosts, sodass Kibana auf die richtige Elasticsearch-URL zeigt.
Vor dem Bearbeiten:
Nach der Bearbeitung:
Speichern Sie nun die Datei, indem Sie STRG+X, Y und Enter drücken. Starten und aktivieren Sie nun Kibana mit dem folgenden Befehl.
sudo systemctl start kibana && sudo systemctl enable kibana
Öffnen Sie nun Ihren bevorzugten Webbrowser und rufen Sie die folgende URL auf.
http://localhost:5601/app/kibana#/home
Sie werden zum Begrüßungsbildschirm von Kibana weitergeleitet. Von hier aus können Sie mit der Verwendung von Kibana beginnen. Wenn Sie die Fehlermeldung „Kibana-Server noch nicht bereit“ erhalten, geben Sie ihm ein paar Minuten Zeit, um zu starten. Oder stellen Sie sicher, dass sowohl Elasticsearch als auch Kibana betriebsbereit sind.
Filebeat installieren
Filebeat ist ein leichtgewichtiger Logshipper, der Daten an Elasticsearch senden kann. Sie können Filebeat mit dem folgenden Befehl installieren.
sudo apt install filebeat -y
Sobald die Installation abgeschlossen ist, müssen Sie Filebeat konfigurieren. Die Datei /etc/filebeat/filebeat.yml ist die Hauptkonfigurationsdatei für alle Filebeat-Einstellungen.
Lassen Sie uns diese Datei mit dem Nano-Texteditor öffnen.
sudo nano /etc/filebeat/filebeat.yml
Entkommentieren Sie nun die Zeile output.logstash und die Zeile host, wie unten gezeigt.
Vor dem Bearbeiten:
Nach der Bearbeitung:
Speichern Sie nun die Datei, indem Sie STRG+X, Y und Enter drücken. Lassen Sie uns nun das Filebeat-Systemmodul aktivieren, die Indexvorlage laden und Filebeat mit Elasticsearch verbinden.
sudo filebeat modules enable system && sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601
Beispielausgabe:
Führen Sie als Nächstes den folgenden Befehl aus, um Filebeat zu starten und zu aktivieren.
sudo systemctl start filebeat && sudo systemctl enable filebeat
Führen Sie abschließend den folgenden Befehl aus, um zu überprüfen, ob Elasticsearch Daten von Filebeat empfängt,
curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'
Sie sollten die gleichen Daten wie im Bild unten sehen. Diese Ausgabe bestätigt, dass Filebeat Daten an Elasticsearch sendet.
Logstash installieren
Nachdem Sie Elasticsearch und Kibana erfolgreich eingerichtet haben, ist der letzte Schritt die Installation von Logstash.
Sie können Logstash mit dem folgenden Befehl installieren.
sudo apt install logstash -y
Sobald die Installation abgeschlossen ist, können Sie Logstash mit dem folgenden Befehl starten und aktivieren.
sudo systemctl start logstash && sudo systemctl enable logstash
Um zu überprüfen, ob Logstash betriebsbereit ist, können Sie den folgenden Befehl ausführen, um seinen Status zu überprüfen.
sudo systemctl status logstash
Sie erhalten die folgende Ausgabe.
Nachdem wir Logstash installiert haben, können Sie es nach Ihren Bedürfnissen konfigurieren. Weitere Informationen finden Sie in der Logstash-Dokumentation.
Wenn Sie mit der Konfiguration von Logstash fertig sind, kehren Sie zur Kibana-Weboberfläche zurück, die Sie im vorherigen Schritt in Ihrem Webbrowser geöffnet haben. Von dort aus können Sie mit der Verwaltung und Visualisierung Ihrer Daten beginnen. Herzliche Glückwünsche! Sie haben den Elastic Stack jetzt erfolgreich auf Ihrem Ubuntu 20.04-Server installiert.
Schlussfolgerung
In diesem Tutorial haben Sie gelernt, wie Sie Elasticsearch, Kibana und Logstash auf einem Ubuntu 20.04-Server installieren. Außerdem haben Sie gelernt, wie Sie alle drei Komponenten konfigurieren, damit sie miteinander kommunizieren können.
Hinterlassen Sie unten Ihre Kommentare, Vorschläge und Fragen. Wenn Ihnen dieser Artikel in irgendeiner Weise geholfen hat, klicken Sie bitte auf die Teilen-Schaltflächen oben auf dieser Seite, um ihnen zu helfen.