So installieren Sie Apache Kafka unter Ubuntu 18.04

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf einem VPS mit Ubuntu 18.04 installieren und einrichten.

Kafka oder Apache Kafka ist ein verteiltes Nachrichtensystem, das auf dem Prinzip des Pub-Sub-Modells (Publish-Subscribe) basiert. Es ermöglicht uns, einen Strom von Aufzeichnungen zu veröffentlichen und zu abonnieren, die kategorisiert werden können. Es ist unglaublich schnell , hoch skalierbar ,fehlertolerant System und ist darauf ausgelegt, große Datenmengen in Echtzeit zu verarbeiten . Apache Kafka kann auch als Alternative zu einem Message Broker verwendet werden, wodurch wir einen Strom von Datensätzen verarbeiten/umwandeln können. Kafka kann als Messaging-System verwendet werden, aber in einem ziemlich unvergleichlich großen Umfang. Insgesamt ist Apache Kafka ein sehr mächtiges Werkzeug, wenn es richtig eingesetzt wird.

Voraussetzungen

• Ein Server mit Ubuntu 18.04 und mindestens 4 GB Arbeitsspeicher. Für die Zwecke dieses Tutorials verwenden wir einen unserer Managed Ubuntu 18.04 VPS.
• SSH-Zugriff mit Root-Rechten oder Zugriff auf den „Root“-Benutzer selbst

Schritt 1:Melden Sie sich über SSH an und aktualisieren Sie das System

Melden Sie sich mit SSH als Root-Benutzer bei Ihrem Ubuntu 18.04 VPS an:

ssh root@IP_Address -p Port_number

Ersetzen Sie „root“ bei Bedarf durch einen Benutzer mit sudo-Berechtigungen. Ersetzen Sie außerdem „IP_Address“ und „Port_Number“ durch die jeweilige IP-Adresse und den SSH-Port Ihres Servers.

Sobald dies erledigt ist, können Sie mit dem folgenden Befehl überprüfen, ob Sie die richtige Ubuntu-Version auf Ihrem Server installiert haben:

# lsb_release -a

Sie sollten diese Ausgabe erhalten:

Distributor ID:UbuntuDescription:Ubuntu 18.04.2 LTSRease:18.04Codename:bionic

Führen Sie dann den folgenden Befehl aus, um sicherzustellen, dass alle installierten Pakete auf dem Server auf ihre neuesten verfügbaren Versionen aktualisiert werden:

# apt-Update &&apt-Upgrade

Schritt 2:Systembenutzer hinzufügen

Lassen Sie uns einen neuen Benutzer namens „kafka“ erstellen, danach fügen wir diesen neuen Benutzer als sudoer hinzu.

# adduser kafka# usermod -aG sudo kafka

Schritt 3:Java installieren

Kafka ist in Java geschrieben, daher ist eine JVM erforderlich, damit es funktioniert. In diesem Tutorial verwenden wir OpenJDK 11, da es die Standardversion von Java ist, die seit September 2018 mit Ubuntu geliefert wird.

# apt install default-jre

Schritt 4:Laden Sie Apache Kafka herunter

Lassen Sie uns jetzt Kafka herunterladen, Sie können hierher gehen und bei Bedarf die neueste Version herunterladen. Der zum Zeitpunkt des Schreibens aktuellste Download-Link ist im Beispiel bereits für Sie eingetragen.

# su - kafka

wget https://www-us.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz -O kafka.tgz

Nachdem die Apache Kafka-Binärdatei heruntergeladen wurde, müssen wir sie jetzt in unser Kafka-Benutzerverzeichnis

extrahieren

$ tar -xzvf kafka.tgz --stripe 1

Schritt 5:Apache Kafka konfigurieren

Es ist an der Zeit, Apache Kafka zu konfigurieren. Standardmäßig dürfen wir keine Themen, Kategorien oder Gruppen löschen, in denen Nachrichten gepostet werden können. Um dieses Verhalten zu ändern, müssen wir die Standardkonfiguration bearbeiten.

$ nano ~/config/server.properties

Hängen Sie die folgende Zeile an die letzte Zeile der Konfigurationsdatei an.

delete.topic.enable =true

Schritt 6:Erstellen Sie eine Systemeinheitendatei für Apache Kafka

Zookeeper ist für die Ausführung von Kafka erforderlich. Kafka verwendet Zookeeper, daher müssen wir zuerst eine Instanz des Zookeeper-Servers starten, bevor wir den Apache Kafka-Dienst starten. In diesem Tutorial verwenden wir das mit Kafka gelieferte praktische Skript, um eine Quick-and-Dirty-Single-Node-Zookeeper-Instanz zu erhalten.

Öffnen Sie eine neue Datei im Dateipfad /etc/systemd/system/zookeeper.service , und öffnen Sie es in Ihrem bevorzugten Texteditor. Wir verwenden nano für dieses Tutorial.

$ sudo nano /etc/systemd/system/zookeeper.service

Fügen Sie die folgenden Zeilen darin ein:

[Unit]Requires=network.target remote-fs.targetAfter=network.target remote-fs.target[Service]Type=simpleUser=kafkaExecStart=/home/kafka/bin/zookeeper-server-start.sh /home /kafka/config/zookeeper.propertiesExecStop=/home/kafka/bin/zookeeper-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target

Lassen Sie uns nun eine Systemeinheitendatei für kafka im Dateipfad /etc/systemd/system/kafka.service erstellen :

$ sudo nano /etc/systemd/system/kafka.service

Fügen Sie die folgenden Zeilen in die Datei ein:

[Unit]Requires=zookeeper.serviceAfter=zookeeper.service[Service]Type=simpleUser=kafkaExecStart=/bin/sh -c '/home/kafka/bin/kafka-server-start.sh /home/kafka/ config/server.properties> /home/kafka/kafka.log 2>&1'ExecStop=/home/kafka/bin/kafka-server-stop.shRestart=on-abnormal[Install]WantedBy=multi-user.target 

 Die neuen Systemeinheiten wurden hinzugefügt, also lassen Sie uns Apache Kafka so aktivieren, dass es automatisch beim Booten ausgeführt wird, und dann den Dienst ausführen.
 
$ sudo systemctl aktiviert kafka$ sudo systemctl startet kafka
 
Schritt 7:Erstellen Sie ein Thema
 

 In diesem Schritt erstellen wir ein Thema namens „FirstTopic“ mit einer einzigen Partition und nur einer Replik:
 
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic FirstTopicErstelltes Thema "FirstTopic".
 

 Der Wert des Replikationsfaktors beschreibt, wie viele Kopien der Daten erstellt werden. Wir arbeiten mit einer einzigen Instanz, also wäre der Wert 1.
 

 Der Partitionswert beschreibt die Anzahl der Broker, auf die Ihre Daten aufgeteilt werden sollen. Wir arbeiten mit einem einzigen Broker, also wäre der Wert 1.
 

 Jetzt können Sie das erstellte Thema auf Kafka sehen, indem Sie den Befehl list topic ausführen:
 
$ bin/kafka-topics.sh --list --zookeeper localhost:2181FirstTopic
 
Schritt 8:Nachrichten mit Apache Kafka senden
 

 Apache Kafka wird mit einem Befehlszeilenclient geliefert, der Eingaben aus einer Datei oder einer Standardeingabe entgegennimmt und als Nachrichten an den Kafka-Cluster sendet. Der „Produzent“ ist der Prozess, der dafür verantwortlich ist, Daten in unseren Kafka-Dienst einzufügen. Standardmäßig sendet Kafka jede Zeile als separate Nachricht.
 

 Lassen Sie uns den Producer ausführen und dann einige Nachrichten in die Konsole eingeben, um sie an den Server zu senden.
 
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic FirstTopic>Willkommen bei kafka>Dies ist der Inhalt unseres ersten Themas>
 

 Lassen Sie das Terminal geöffnet und fahren Sie mit dem nächsten Schritt fort.
 
Schritt 9:Verwenden Sie Apache Kafka als Verbraucher
 

 Apache Kafka hat auch eine Befehlszeile für den Verbraucher, um Daten von Kafka zu lesen – damit der Verbraucher Kafka verwenden kann, um Nachrichten in einer Standardausgabe anzuzeigen.
 

 Führen Sie den folgenden Befehl in einer neuen SSH-Sitzung aus.
 
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginningWillkommen bei kafkaDies ist der Inhalt unseres ersten Themas
 

 Das ist es! Apache Kafka wurde erfolgreich installiert und eingerichtet. Jetzt können wir einige Nachrichten auf dem Producer-Terminal eingeben, wie im vorherigen Schritt angegeben. Die Nachrichten werden sofort auf unserem Kundenterminal angezeigt.
 

 Natürlich müssen Sie nicht wissen, wie man Apache Kafka auf Ubuntu 18.04 installiert, wenn Sie einen Ubuntu 18.04 VPS bei uns gehostet haben. Wenn ja, können Sie einfach unser Support-Team bitten, Apache Kafka auf Ubuntu 18.04 für Sie zu installieren. Sie sind rund um die Uhr verfügbar und können Ihnen bei der Installation von Apache Kafka sowie bei allen zusätzlichen Anforderungen helfen, die Sie möglicherweise haben.
 

 PS. Wenn Sie diesen Blogbeitrag über die Installation von Apache Kafka auf Ubuntu 18.04 gerne lesen, können Sie ihn gerne in sozialen Netzwerken teilen, indem Sie die unten stehenden Verknüpfungen verwenden, oder hinterlassen Sie einfach einen Kommentar unten im Kommentarbereich. Danke.