Einführung
Was ist der ELK-Stack?
„ELK“ ist das Akronym für drei Open-Source-Projekte:Elasticsearch, Logstash und Kibana. Elasticsearch ist eine Such- und Analysemaschine. Logstash ist eine serverseitige Datenverarbeitungspipeline, die Daten aus mehreren Quellen gleichzeitig aufnimmt, transformiert und dann an einen „Stash“ wie Elasticsearch sendet. Mit Kibana können Benutzer Daten mit Diagrammen und Grafiken in Elasticsearch visualisieren.
Warum den Bitnami ELK Stack verwenden?
Der Bitnami ELK Stack ist immer aktuell und sicher. Die Installation und Konfiguration des Stacks ist vollständig automatisiert, was es für jeden einfach macht, ihn zum Laufen zu bringen, auch für diejenigen, die nicht sehr technisch versiert sind.
Was ist Filebeat?
Filebeat ist ein leichtgewichtiger Shipper zum Weiterleiten und Zentralisieren von Protokolldaten. Filebeat wird als Agent auf Ihren Servern installiert und überwacht die von Ihnen angegebenen Protokolldateien oder Speicherorte, sammelt Protokollereignisse und leitet sie zur Indizierung entweder an Elasticsearch oder Logstash weiter.
Im Folgenden finden Sie Schritte zum Starten eines Bitnami ELK-Servers vom E2E Myaccount Portal und zum Konfigurieren des Filebeat-Agenten auf Ihrem Server zum Abrufen der Protokolle.
Voraussetzung
- Melden Sie sich beim E2E Myaccount-Portal an. Wenn Sie sich noch nicht bei Myaccount angemeldet haben, lesen Sie bitte diesen Artikel unter Anmeldung
- Sudo-Zugriff auf Ihren Agentenserver, um den Filebeat-Agenten zu konfigurieren
Schritte zum Erstellen eines Bitnami-ELK-Servers aus dem E2E Myaccount-Portal
Schritt 1:Melden Sie sich mit der erforderlichen E-Mail-Adresse und dem erforderlichen Passwort bei Ihrem E2E Myaccount-Portal an
Schritt 2:Wählen Sie Knoten aus dem Panel aus und fahren Sie mit dem Erstellen von Knoten fort
Schritt 3:Klicken Sie im Abschnitt „Rechenknoten erstellen“ auf den Abschnitt „Ein-Klick-Bereitstellung“ und wählen Sie die erforderliche ELK-Version sowie die entsprechenden Pläne aus und klicken Sie auf „VM erstellen“
Schritt 4:Geben Sie die Knotendetails ein, wählen Sie die Authentifizierungs- und Sicherungsoptionen aus und klicken Sie auf „Meinen Knoten erstellen“, um einen E2E-Bitnami-ELK-Server zu starten
Das war's, Sie haben jetzt den Bitnami ELK-Server gestartet, Im Folgenden finden Sie die Schritte zur Anmeldung bei Ihrem Kibana-Portal
Schritte zur Anmeldung beim ELK Bitnami Kibana-Portal
Schritt 5:Zuerst benötigen wir den Benutzernamen und das Passwort für das Kibana-Portal. Die ELK-Instanz-Root-Anmeldeinformationen werden an Ihre registrierte E-Mail-Adresse gesendet, sobald die ELK-Instanz gestartet wird.
Die ELK-Anmeldeinformationen werden in einer eigenständigen Datei gespeichert. Um die Anmeldeinformationen jederzeit zu erhalten, stellen Sie über SSH eine Verbindung mit dem Knoten her, indem Sie Root-Benutzer-Anmeldeinformationen verwenden. Führen Sie den folgenden Befehl aus, um Ihre Anwendungs-Anmeldeinformationen abzurufen
cat /home/bitnami/bitnami_credentials
Sie erhalten eine Ausgabe wie unten
root@e2e-62-70:~# cat /home/bitnami/bitnami_credentials Welcome to the Bitnami ELK Stack The default username and password is 'user' and 'D2mYMa3Z9gMY'. You can also use this password to access the databases and any other component the stack includes. Please refer to https://docs.bitnami.com/ for more details.
Schritt 6:Um sich bei Ihrem Kibana-Portal anzumelden, verwenden Sie die URL http://your_server_IP und klicken Sie auf Login to the Admin Console.Geben Sie den Benutzernamen und das Passwort ein, wenn Sie dazu aufgefordert werden.
Schritte zum Konfigurieren von Filebeat Agent
Schritt 7:Nachdem Sie den Server gestartet und auf das Kibana-Portal zugegriffen haben, ist es jetzt an der Zeit, die Protokolle vom Agentenserver über Filebeat abzurufen
Bitte melden Sie sich bei Ihrem Agent-Server an, von wo aus Sie die Protokolle abrufen müssen. Stellen Sie sicher, dass Sie sudo-Zugriff auf den Server haben
Schritt 8:Um Filebeat auf einem Linux-Server herunterzuladen und zu installieren, verwenden Sie den folgenden Befehl gemäß Ihren Distributionen. Da wir bitnami ELK verwenden, verwenden wir die oss-Version von filebeat
deb:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-amd64.deb
sudo dpkg -i filebeat-oss-7.4.1-amd64.deb
Drehzahl:
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.4.1-x86_64.rpm sudo rpm -vi filebeat-oss-7.4.1-x86_64.rpm
Hinweis:Beim Verfassen dieses Artikels war filebeat-7.4.1 die neueste Version. Sie können die aktuelle neueste Version von der offiziellen Website herunterladen
Schritt 9:Nachdem Sie Filebeat mit dem oben genannten Befehl installiert haben, müssen Sie die Konfiguration auf Filebeat.yml ändern Datei, um die Protokolle auf Ihren ELK-Server abzurufen,Verwenden Sie den folgenden Befehl, um die Filebeat.yml-Konfiguration zu bearbeiten
vim /etc/filebeat/filebeat.yml
Um in den Einfügemodus zu gelangen, drücken Sie i und folgende Änderungen müssen an dieser Datei vorgenommen werden
1)Ändern Sie die Filebeat-Eingabekonfiguration auf true als „enabled:true“, wie unten gezeigt
2)Ändern Sie den Pfad der Protokolldateien, die abgerufen werden müssen. Derzeit haben wir konfiguriert, /var/log/messages abzurufen. Sie können den Protokollpfad gemäß Ihren Anforderungen konfigurieren.
3) Ändern Sie die Hostkonfiguration von output.elasticsearch mit der IP Ihres ELK-Servers.
Speichern Sie die Datei, indem Sie „ESC“ drücken und :wq! eingeben zum Speichern und Beenden
Schritt 10:Sie müssen außerdem sicherstellen, dass Ihr Agent-Server eine Verbindung zum ELK-Server für Elasticsearch-Port 9200 herstellen kann
Bitte melden Sie sich bei Ihrem ELK-Server an und verwenden Sie den folgenden Befehl, um den Port 9200 für Ihren Agentenserver zu öffnen. Bitte stellen Sie sicher, dass Sie die IP Ihres Agentenservers ändern
sudo ufw allow from agent_server_ip to any port 9200
Da wir Debian 9 mit ufw-Firewall verwenden, verwenden wir den obigen Befehl. Wenn Sie Iptable verwenden, beziehen Sie sich bitte auf diesen Artikel, um den Port zu öffnen.
Überprüfen Sie, ob Sie von Ihrem Agentenserver zum ELK-Server telnet können, indem Sie sich bei Ihrem Agentenserver anmelden und mit dem folgenden Befehl telnet, Sie erhalten die folgende Ausgabe
# telnet elk_sever_ip 9200 Trying xx.xx.xx.xx… Connected to xx.xx.xx.xx Escape character is '^]'.
Schritt 11:Sobald die obige Konfiguration und die Telnet-Überprüfung abgeschlossen sind, starten Sie den Filebeat-Dienst einmal mit dem folgenden Befehl neu
service filebeat restart
Erstellen eines Kibana-Indexmusters auf dem Kibana-Portal zum Anzeigen der Daten
Schritt 12:Um Daten aus Elasticsearch-Indizes für Dinge wie Visualisierungen im Kibana-Portal abzurufen, müssen wir ein Kibana-Indexmuster erstellen.
Melden Sie sich bei Ihrem Kibana-Portal an —> gehen Sie zum Verwaltungsbereich —> und wählen Sie Indexmuster aus
Wenn Ihre Konfiguration und Konnektivität von Filebeat Agent und ELK-Server einwandfrei funktioniert, sehen Sie ein Filebeat-Muster, das wir gerade wie unten gezeigt konfiguriert haben.
Geben Sie den Namen des Indexmusters als filebeat-* ein und klicken Sie auf Nächster Schritt
Wählen Sie @Zeitstempel im Feldnamen des Zeitfilters und klicken Sie auf Indexmuster erstellen. Sie haben das Indexmuster jetzt erfolgreich erstellt und können die Daten im Portal anzeigen
Schritt 13:Zeigen Sie die Daten im Discover Panel des Kibana-Portals an
Um die gesendeten Protokolle von Ihrem Agent-Server anzuzeigen, wählen Sie im linken Bereich des Kibana-Portals Entdecken aus, wo Sie die vom Kibana-Portal abgerufenen Elasticsearch-Daten anzeigen können. Sobald Ihre Protokolle erfolgreich abgerufen wurden, können Sie Ihre Protokolle durchsuchen und durchsuchen. Sie können Ihr Dashboard auch anpassen.
Schlussfolgerung
Sie können Ihre Protokolle jetzt ständig auf den ELK-Server abrufen lassen und sie mit Kibana visualisieren. Sie können so viele Protokolle an ELK senden, wie Sie abrufen, und Ihre Protokolle auf dem Kibana-Dashboard weiter filtern und eine strukturierte Visualisierung erhalten.
Häufig gestellte Fragen zur ELK-Bereitstellung finden Sie in diesem Artikel