So installieren Sie Apache Kafka unter Debian 10

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf Debian 10 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Kafka ist eine Open-Source-Plattform für verteiltes Event-Streaming, die von verwendet wird Tausende von Unternehmen für leistungsstarke Datenpipelines, Streaminganalysen, Datenintegration und unternehmenskritische Anwendungen.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Kafka auf einem Debian 10 (Buster).

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:Debian 10 (Buster).
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Kafka auf Debian 10 Buster

Schritt 1. Bevor Sie das folgende Tutorial ausführen, ist es wichtig, sicherzustellen, dass Ihr System auf dem neuesten Stand ist, indem Sie das folgende apt ausführen Befehle im Terminal:

sudo apt update

Schritt 2. Java installieren.

Installieren Sie jetzt Java mit dem folgenden Befehl:

sudo apt install default-jdk

Überprüfen Sie die Java-Version, indem Sie den folgenden Befehl ausführen:

java -version

Schritt 3. Apache Kafka unter Debian 10 installieren.

Jetzt führen wir den folgenden Befehl aus, um Apache Kafka-Pakete von der offiziellen Website herunterzuladen:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Extrahieren Sie dann die heruntergeladene Archivdatei:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Schritt 4. Erstellen Sie Systemd-Unit-Dateien.

Nun erstellen wir systemd Unit-Dateien für den Zookeeper- und Kafka-Dienst. Dies hilft bei der Verwaltung von Kafka-Diensten, um die Verwendung von systemctl zu starten oder zu stoppen Befehl:

nano /etc/systemd/system/zookeeper.service

Fügen Sie die folgende Datei hinzu:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Erstellen Sie als Nächstes ein Kafka-systemd Unit-Datei mit dem folgenden Befehl:

nano /etc/systemd/system/kafka.service

Fügen Sie den folgenden Inhalt hinzu:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Speichern Sie die Dateien und laden Sie systemd neu Daemon, um neue Änderungen anzuwenden:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Schritt 5. Erstellen Sie ein Thema in Kafka.

Erstellen Sie zuerst ein Thema namens „MakeTopic“ mit einer einzelnen Partition mit einem einzelnen Replikat:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Danach können Sie die erstellten Themen auf Kafka sehen, indem Sie den folgenden Befehl ausführen:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Schritt 6. Nachrichten an Kafka senden.

Jetzt führen wir den Producer aus und geben dann ein paar Nachrichten in die Konsole ein, die an den Server gesendet werden:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Schritt 7. Verwenden von Kafka Consumer.

Apache Kafka hat auch einen Befehlszeilenkonsumenten, um Daten aus dem Kafka-Cluster zu lesen und Meldungen auf der Standardausgabe anzuzeigen.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

Herzlichen Glückwunsch! Sie haben Apache Kafka erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation der neuesten Version von Apache Kafka auf dem Debian-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Kafka-Website.