Apache Kafka unter Ubuntu 20.04 installieren und konfigurieren – Schritt-für-Schritt-Prozess zur Implementierung dieser Aufgabe?

Apache Kafka ist ein beliebter verteilter Nachrichtenbroker, der für die Verarbeitung großer Mengen von Echtzeitdaten entwickelt wurde. Ein Kafka-Cluster ist hochgradig skalierbar und fehlertolerant.

Es hat auch einen viel höheren Durchsatz im Vergleich zu anderen Nachrichtenbrokern wie ActiveMQ und RabbitMQ.

Obwohl es im Allgemeinen als Publish/Subscribe-Messaging-System verwendet wird, verwenden viele Organisationen es auch für die Protokollaggregation, da es einen dauerhaften Speicher für veröffentlichte Nachrichten bietet.

Hier bei LinuxAPT helfen wir unseren Kunden im Rahmen unserer Server Management Services regelmäßig bei Apache-bezogenen Abfragen.

In diesem Zusammenhang werden wir untersuchen, wie Kafka unter Ubuntu 20.04 installiert und konfiguriert wird.

Wie installiere ich Apache Kafka auf einem Ubuntu-System?

Um mit dieser Installationsaufgabe zu beginnen, müssen Sie als Root-Benutzer mit sudo-Rechten auf Ihren Server zugreifen.

Für Apache Kafka muss Java auf Ihrem Ubuntu 20.04-Rechner installiert sein.

Beginnen Sie mit der Aktualisierung Ihres Betriebssystems mit dem folgenden Befehl:

$ sudo apt update

Nachdem das Betriebssystem aktualisiert wurde, fahren Sie mit der Installation von Java fort:

$ sudo apt install openjdk-11-jre-headless

Überprüfen Sie dann, ob Java erfolgreich auf dem System installiert wurde, indem Sie den folgenden Befehl ausführen:

$ java --version

Wie lädt man Kafka auf Ubuntu herunter?

Jetzt müssen Sie die Kafka-Quelle auf Ihr Ubuntu 20.04 herunterladen. Es wird dringend empfohlen, es von der offiziellen Website von Apache Kafka herunterzuladen:https://kafka.apache.org/downloads

Zum Zeitpunkt der Erstellung dieses Artikels ist die neueste Version 2.7.0.

Sie können es mit dem folgenden Befehl herunterladen:

$ cd $HOME
$ wget https://downloads.apache.org/kafka/2.7.0/kafka-2.7.0-src.tgz

Erstellen Sie als Nächstes einen neuen Ordner mit dem Namen kafka-server im Verzeichnis /usr/local:

$ sudo mkdir /usr/local/kafka-server

Extrahieren Sie dann die heruntergeladene Quelle von Kafka in das Verzeichnis /usr/local/kafka-server:

$ sudo tar xf $HOME/kafka-2.7.0-src.tgz -C /usr/local/kafka-server

Da Sie bereits Apache Kafka-Binärdateien extrahiert haben, können Sie die Dateien auflisten, indem Sie Folgendes ausführen:

$ ls /usr/local/kafka-server/kafka-2.7.0-src/bin/

Jetzt ist es an der Zeit, Kafka und Zookeeper in Ubuntu 20.04 als Daemons laufen zu lassen.

Dazu müssen Sie Systemd-Unit-Dateien sowohl für Kafka als auch für Zookeeper erstellen.

Wie erstelle ich Systemd-Unit-Dateien für Kafka und Zookeeper?

Beginnen Sie mit Ihrem bevorzugten Editor, um zwei Dateien wie folgt zu erstellen:

/etc/systemd/system/zookeeper.service

[Unit]
Description=Apache Zookeeper Server
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/zookeeper.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

/etc/systemd/system/kafka.service

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-start.sh /usr/local/kafka-server/kafka-2.7.0-src/config/server.properties
ExecStop=/usr/local/kafka-server/kafka-2.7.0-src/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

Um die Änderungen zu übernehmen, müssen die systemd-Daemons neu geladen werden und Sie müssen auch die Dienste aktivieren:

$ sudo systemctl daemon-reload
$ sudo systemctl enable --now zookeeper.service
$ sudo systemctl enable --now kafka.service
$ sudo systemctl status kafka zookeeper

Wie installiere ich Cluster Manager für Apache Kafka (CMAK) auf Ubuntu?

Hier installieren wir den CMAK, der für Cluster Manager for Apache Kafka steht. CMAK ist ein Open-Source-Tool zum Verwalten und Überwachen von Kafka-Diensten.

Es wurde ursprünglich von Yahoo entwickelt. Führen Sie die folgenden Befehle aus, um CMAK zu installieren:

$ cd $HOME
$ git clone https://github.com/yahoo/CMAK.git

Wie konfiguriere ich CMAK unter Ubuntu?

Mit Ihrem bevorzugten Editor können Sie die CMAK-Konfiguration ändern:

$ vim ~/CMAK/conf/application.conf

Hier konfigurieren wir den Zookeeper als localhost, ändern wir den Wert von cmak.zkhosts in localhost:2181

Sie finden cmak.zkhosts in Zeile 28.

Nun müssen Sie eine ZIP-Datei zum Bereitstellen der Anwendung erstellen:

$ cd ~/CMAK
$ ./sbt clean dist

Es dauert etwa eine Minute, bis der Vorgang abgeschlossen ist.

Wie starte ich den CMAK-Dienst unter Ubuntu?

ich. Wechseln Sie in das Verzeichnis ~/CMAK/target/universal und extrahieren Sie die ZIP-Datei:

$ cd ~/CMAK/target/universal
$ unzip cmak-3.0.0.5.zip

ii. Wechseln Sie nach dem Entpacken der cmak-3.0.0.5.zip-Datei in das Verzeichnis und führen Sie die cmak-Binärdatei aus:

$ cd cmak-3.0.0.5
$ bin/cmak

Standardmäßig wird der cmak-Dienst auf Port 9000 ausgeführt.

Verwenden Sie den Webbrowser und gehen Sie zu http://:9000

Wenn Sie zum ersten Mal auf die Benutzeroberfläche zugreifen, ist kein Cluster verfügbar.

iii. Dann müssen wir einen neuen hinzufügen, indem wir in der Dropdown-Liste „Cluster“ auf „Cluster hinzufügen“ klicken.

iv. Hier haben wir das Formular mit den angeforderten Informationen ausgefüllt:Clustername, Cluster-Zookeeper-Hosts, Kafka-Version und so weiter.

v. Belassen Sie andere Optionen mit ihren Standardwerten und klicken Sie dann auf Speichern.

Jetzt wird der Cluster erfolgreich erstellt.

Sie können jetzt ein Beispielthema erstellen.

vi. Angenommen, wir erstellen ein Thema mit dem Namen "LinuxAPTTopic".

Denken Sie daran, dass der CMAK noch ausgeführt wird, starten Sie ein neues Terminal und führen Sie dann den folgenden Befehl aus:

$ cd /usr/local/kafka-server/kafka-2.7.0-src
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic LinuxAPTTopic

Dieser Befehl erstellt das Thema "LinuxAPTTopic".

vii. Gehen Sie schließlich zur Clusteransicht und klicken Sie dann auf Thema> Liste.