So installieren Sie Apache Kafka unter Ubuntu 18.04 LTS

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf Ubuntu 18.04 LTS installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Kafka ist ein verteilter Nachrichtenagent, der für den Umgang mit riesigen Mengen an Echtzeitinformationen effektiv.Im Gegensatz zu herkömmlichen Agenten wie ActiveMQ und RabbitMQ fungiert Kafka als ein Bündel von einem oder mehreren Servern, die es hochgradig skalierbar machen, und aufgrund der verteilten Natur verfügt es über eine eingebaute Fehlertoleranz und bietet im Vergleich zu seine Gegenstücke.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Kafka auf dem Ubuntu 18.04 LTS (Bionic Beaver) Server.

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:Ubuntu 18.04 LTS (Bionic Beaver).
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• SSH-Zugriff auf den Server (oder öffnen Sie einfach das Terminal, wenn Sie sich auf einem Desktop befinden).
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Kafka auf Ubuntu 18.04 LTS Bionic Beaver

Schritt 1. Stellen Sie zunächst sicher, dass alle Ihre Systempakete auf dem neuesten Stand sind, indem Sie den folgenden apt-get ausführen Befehle im Terminal.

sudo apt-get update
sudo apt-get upgrade

Schritt 2. Java installieren.

Apache Kafka erfordert die Installation von Java auf Ihrem Server. Standardmäßig ist Java nicht im Ubuntu-Repository verfügbar. Fügen Sie das Oracle Java PPA mit dem folgenden Befehl zu Apt hinzu:

add-apt-repository ppa:webupd8team/java
apt-get update -y
apt-get install oracle-java8-installer

Überprüfen Sie die Java-Version, indem Sie den folgenden Befehl ausführen:

java -version

Schritt 3. Zookeeper installieren.

Apache Kafka ist für die Clusterverwaltung auf Zookeeper angewiesen. Daher muss Zookeeper vor dem Start von Kafka gestartet werden:

apt-get install zookeeperd

Nach Abschluss der Installation wird ZooKeeper automatisch als Daemon gestartet. Standardmäßig lauscht es auf Port 2181:

netstat -ant | grep :2181

Sie können den folgenden Befehl ausführen, um zu überprüfen, ob der Tierpfleger läuft:

systemctl status zookeeper

Schritt 4. Apache Kafka unter Ubuntu 18.04 LTS herunterladen und installieren.

Laden Sie zuerst Kafka von der Apache-Website herunter und extrahieren Sie es. Sie können wget verwenden um Kafka herunterzuladen:

wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz

Entpacken Sie dann die Archivdatei:

tar xzf kafka_2.12-1.1.0.tgz
mv kafka_2.12-1.1.0 /usr/local/kafka

Kafka-Server starten:

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

Starten Sie nun den Kafka-Server:

bin/kafka-server-start.sh config/server.properties

...
[2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Schritt 5. Erstellen Sie ein Thema auf Kafka.

Lassen Sie uns ein Thema namens „NewTopic“ mit einer einzelnen Partition und nur einem Replikat erstellen:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic
Created topic "NewTopic".

Jetzt können Sie das erstellte Thema auf Kafka sehen, indem Sie den Befehl list topic ausführen:

bin/kafka-topics.sh --list --zookeeper localhost:2181
NewTopic

Schritt 6. Nachrichten an Kafka senden.

Der „Erzeuger“ ist der Prozess, der dafür verantwortlich ist, Daten in unser Kafka einzufügen. Das Kafka wird mit einem Befehlszeilen-Client geliefert, der Eingaben aus einer Datei oder aus dem Standard entgegennimmt eingeben und als Nachrichten an den Kafka-Cluster senden:

Lassen Sie uns den Producer ausführen und dann ein paar Nachrichten in die Konsole eingeben, um sie an den Server zu senden:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Schritt 7. Verwenden von Kafka Consumer.

Kafka hat auch einen Befehlszeilenkonsumenten, um Daten aus dem Kafka-Cluster zu lesen und Meldungen auf der Standardausgabe anzuzeigen:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Herzlichen Glückwunsch! Sie haben Apache Kafka erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation von Apache Kafka auf einem Ubuntu 18.04 LTS (Bionic Beaver)-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, dies zu überprüfen die offizielle Apache Kafka-Website.