Installieren Sie Apache Kafka auf Ubuntu 20.04

Hallo Freunde. In diesem Beitrag erfahren Sie, wie Sie Apache Kafka unter Ubuntu 20.04 installieren

Die Apache Kafka-Plattform ist ein verteiltes Datenübertragungssystem mit horizontaler Skalierbarkeit und Fehlertoleranz. Es wird in vielen weltweiten Umgebungen und in Clustern verwendet, in denen diese Datenübertragung benötigt wird.

Das Beste daran ist, dass es Open Source ist und wir den Quellcode untersuchen und auf unseren Servern implementieren können. Dank leistungsstarker Dokumentation und einer sehr aktiven Community hat Apache Kafka weltweit einen sehr guten Ruf.

Also los geht's.

Installieren Sie Apache Kafka auf Ubuntu 20.04

Vor der Installation müssen wir einige vorbereitende Schritte durchführen, um das System vorzubereiten.

Installieren Sie Java auf Ubuntu 20.04

Apache Kafka wurde in Java erstellt, daher müssen wir es installieren, um es verwenden zu können. Führen Sie dazu diesen Befehl aus

sudo apt update
sudo apt install openjdk-11-jre-headless unzip

Neben Java habe ich unzip installiert weil wir es später verwenden werden. Aber um zu überprüfen, ob Java erfolgreich installiert wurde, führen Sie

aus

java --version

Jetzt können wir fortfahren

Laden Sie Apache Kafka auf Ubuntu 20.04 herunter

Verwenden Sie jetzt das wget Befehl können wir das Kafka-Paket herunterladen.

wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz

Erstellen Sie einen Ordner zum Entpacken der Datei im

sudo mkdir /usr/local/kafka-server

Wir haben /usr/local/ gewählt wie der Ordner, aber es kann ein beliebiger Ordner sein.

Dekomprimieren Sie das Archiv

sudo tar -xzf kafka_2.12-3.0.0.tgz

Und verschieben Sie es in den Ordner

sudo mv kafka_2.12-3.0.0.0/* /usr/local/kafka-server

Jetzt müssen wir die Dienstdateien für zookeeper erstellen und kafka damit wir sie starten, stoppen und ihren Ausführungsstatus sehen können.

Für zookeeper

sudo nano /etc/systemd/system/zookeeper.service

Und fügen Sie Folgendes hinzu

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka-server/bin/zookeeper-server-start.sh /usr/local/kafka-server/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Speichern Sie die Änderungen und schließen Sie den Editor.

Jetzt der Kafka eins

sudo nano /etc/systemd/system/kafka.service

Diesen Inhalt hinzufügen

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/bin/kafka-server-start.sh /usr/local/kafka-server/config/server.properties
ExecStop=/usr/local/kafka-server/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Speichern Sie erneut die Änderungen und schließen Sie den Editor.

Um die Änderungen auf die neuen Dienste anzuwenden, führen Sie dann

aus

sudo systemctl daemon-reload

Aktivieren und starten Sie die Dienste von beiden. Zuerst der zookeeper eins

sudo systemctl enable --now zookeeper.service
Created symlink /etc/systemd/system/multi-user.target.wants/zookeeper.service → /etc/systemd/system/zookeeper.service

Und dann der Kafka eins

sudo systemctl enable --now kafka.service
Created symlink /etc/systemd/system/multi-user.target.wants/kafka.service → /etc/systemd/system/kafka.service

Prüfen Sie nun den Dienststatus beider

sudo systemctl status kafka

Und

sudo systemctl status zookeeper

Wie Sie sehen können, funktionieren die Dienste korrekt und bisher ist alles gut gelaufen.

Installieren Sie CMAK – den Cluster-Manager für Apache Kafka

Dieser Schritt ist optional, aber praktisch, um Apache Kafka zum Laufen zu bringen.

Also mit Hilfe von git klonen Sie das Anwendungs-Repository.

git clone https://github.com/yahoo/CMAK.git

Wenn Sie git nicht haben installiert, dann können Sie ausführen

sudo apt install git

Dann müssen Sie die Anwendungskonfigurationsdatei ändern.

sudo nano CMAK/conf/application.conf

Darin suchen Sie nach dem Wert von cmak.zkhosts und ihm einen anderen Wert zuweisen.

cmak.zkhosts="localhost:2181"

Sehen Sie sich das Bild unten an, um sicherzustellen, dass Sie den Prozess richtig machen. Speichern Sie die Änderungen und schließen Sie den Editor.

Greifen Sie nun auf das CMAK zu Ordner.

cd CMAK

Und konfigurieren Sie es so, dass es eine ZIP-Datei generiert.

./sbt clean dist

Greifen Sie auf target/universal zu Verzeichnis.

cd target/universal

Und dekomprimieren Sie die Datei

sudo unzip cmak-3.0.0.5.zip

Greifen Sie nun auf den generierten Ordner zu

cd cmak-3.0.0.5

Und führen Sie die Anwendung aus

sudo bin/cmak

Öffnen Sie nun einen Webbrowser und greifen Sie auf http://your-server:9000 zu und Sie werden Folgendes sehen

Der Vorgang war also erfolgreich. Genießen Sie es.

Schlussfolgerung

In diesem Beitrag haben Sie Schritt für Schritt gelernt, wie Sie Apache Kafka unter Ubuntu 20.04 installieren. Damit können Sie mit diesem großartigen Tool loslegen.