So installieren Sie Apache Kafka unter Ubuntu 20.04 LTS

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf Ubuntu 20.04 LTS installieren. Für diejenigen unter Ihnen, die es nicht wussten, Kafka ist die beliebteste Open-Source-Software, die a Framework zum Speichern, Lesen und Analysieren von Streaming-Daten. Kafka wurde ursprünglich von LinkedIn entwickelt und soll Anfang 2011 unter der Apache Software Foundation als Open Source veröffentlicht werden.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Kafka auf Ubuntu 20.04 (Focal Fossa). Sie können denselben Anweisungen für Ubuntu 18.04, 16.04 und jede andere Debian-basierte Distribution wie Linux Mint folgen.

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:Ubuntu 20.04, 18.04, 16.04 und jede andere Debian-basierte Distribution wie Linux Mint.
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Kafka auf Ubuntu 20.04 LTS Focal Fossa

Schritt 1. Stellen Sie zunächst sicher, dass alle Ihre Systempakete auf dem neuesten Stand sind, indem Sie das folgende apt ausführen Befehle im Terminal.

sudo apt update
sudo apt upgrade

Schritt 2. Java installieren.

Für Apache Kafka muss Java auf Ihrem Server installiert sein. Führen Sie den folgenden Befehl aus, um OpenJDK auf dem Ubuntu-System zu installieren:

sudo apt install openjdk-11-jdk

Überprüfen Sie die Java-Version, indem Sie den folgenden Befehl ausführen:

$ java -version

java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b07, mixed mode)

Schritt 3. Installieren von Apache Kafka auf Ubuntu 20.04.

Jetzt laden wir die neueste Version von Kafka auf der offiziellen Webseite herunter:

wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz

Entpacken Sie dann die Archivdatei und verschieben Sie sie an einen anderen Ort:

sudo tar xzf kafka_2.13-2.6.0.tgz
sudo mv kafka_2.13-2.6.0 /opt/kafka

Schritt 4. Erstellen Sie Zookeeper- und Kafka-Systemd-Unit-Dateien.

Erstellen Sie den systemd Unit-Datei für den Tierpflegedienst:

sudo nano /etc/systemd/system/zookeeper.service

Fügen Sie die folgenden Zeilen hinzu:

[Unit]
Description=Apache Zookeeper service
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Erstellen Sie als Nächstes das systemd Unit-Datei für den Kafka-Dienst:

sudo nano /etc/systemd/system/kafka.service

Fügen Sie die folgenden Zeilen hinzu:

[Unit]
Description=Apache Kafka Service
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/opt/jdk/jdk1.8.0_251"
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Daemon neu laden, um wirksam zu werden:

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

Schritt 5. Thema in Kafka erstellen.

Jetzt erstellen wir ein Thema namens „idroot“ mit einem einzigen Replikationsfaktor und einer einzelnen Partition:

cd /opt/kafka
sudo bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-f

Um einige Nachrichten für das erstellte Thema zu senden:

sudo bin/kafka-console-producer.sh --broker-list localhost:9092 --topic idoot

Es wird aufgefordert, Nachrichten einzugeben:

> Hi
> How are you?

Mit dem folgenden Befehl können wir die Liste der Nachrichten sehen:

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic idroot --from-beginning

Schritt 6. So verbinden Sie Kafka von Remote-Rechnern aus.

Um eine Verbindung herzustellen, ein Thema zu erstellen und Nachrichten von einem Remote-Server zu senden. Führen Sie bitte die folgenden Schritte aus:

cd /opt/kafka/config

Suchen Sie nun nach server.properties und nehmen Sie einige Konfigurationsänderungen vor:

sudo nano server.properties

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<HOST IP>:9092

Herzlichen Glückwunsch! Sie haben Apache Kafka erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation von Apache Kafka auf einem Ubuntu 20.04 LTS Focal Fossa-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Kafka-Website.