So installieren Sie Apache Kafka unter CentOS 8

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf CentOS 8 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Kafka ist ein verteilter Nachrichtenagent, der für den Umgang mit großen Mengen entwickelt wurde von Echtzeitinformationen effektiv. Im Gegensatz zu herkömmlichen Agenten wie ActiveMQ und RabbitMQ fungiert Kafka als Bündel von einem oder mehreren Servern, was es hochgradig skalierbar macht, und aufgrund der verteilten Natur verfügt es über eine eingebaute Fehlertoleranz und bietet im Vergleich zu Kafka einen höheren Durchsatz Kollegen.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen die Schritt-für-Schritt-Installation von Apache Kafka auf einem CentOS 8-Server.

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:CentOS 8.
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Kafka auf CentOS 8

Schritt 1. Beginnen wir zunächst damit, sicherzustellen, dass Ihr System auf dem neuesten Stand ist.

sudo dnf update

Schritt 2. Java installieren.

Für Apache Kafka muss Java auf Ihrem Server installiert sein. Sie können OpenJDK auf Ihrem Computer installieren, indem Sie den folgenden Befehl ausführen:

sudo dnf install java-11-openjdk

Überprüfen Sie die Java-Version, indem Sie den folgenden Befehl ausführen:

java -version

Schritt 3. Installieren von Apache Kafka auf CentOS 8.

Laden Sie zuerst Kafka von der Apache-Website herunter und extrahieren Sie es. Sie können wget verwenden um Kafka herunterzuladen:

wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

Entpacken Sie dann die Archivdatei:

tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka

Schritt 4. Kafka Systemd Unit-Dateien einrichten.

Erstellen Sie zuerst systemd Unit-Datei für Zookeeper mit dem folgenden Befehl:

nano /etc/systemd/system/zookeeper.service

Folgenden Inhalt hinzufügen:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Um dann ein Kafka-systemd zu erstellen Unit-Datei mit dem folgenden Befehl:

nano /etc/systemd/system/kafka.service

Fügen Sie den folgenden Inhalt hinzu:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Laden Sie systemd neu Daemon zum Anwenden von Änderungen:

systemctl daemon-reload

Schritt 5. Kafka Server starten.

Kafka benötigte ZooKeeper, starten Sie also zuerst einen ZooKeeper-Server auf Ihrem System:

sudo systemctl start zookeeper

Starten Sie als Nächstes den Kafka-Server und sehen Sie sich den Ausführungsstatus an:

sudo systemctl start kafka
sudo systemctl status kafka

Schritt 6. Erstellen von Themen in Apache Kafka.

Der „Erzeuger“ ist der Prozess, der dafür verantwortlich ist, Daten in unser Kafka einzufügen. Das Kafka wird mit einem Befehlszeilen-Client geliefert, der Eingaben aus einer Datei oder aus dem Standard entgegennimmt eingeben und als Nachrichten an den Kafka-Cluster senden:

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic

Created topic NewTopic.

Sie können mehrere Themen erstellen, indem Sie denselben Befehl wie oben ausführen. Danach können Sie die erstellten Themen auf Kafka sehen, indem Sie den folgenden Befehl ausführen:

bin/kafka-topics.sh --list --zookeeper localhost:2181

NewTopic
KafkaonCentOS8
KafkaonCentOS8

Schritt 7. Apache Kafka Producer und Consumer.

Lassen Sie uns den Producer ausführen und dann ein paar Nachrichten in die Konsole eingeben, um sie an den Server zu senden:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Kafka hat auch einen Befehlszeilenkonsumenten, um Daten aus dem Kafka-Cluster zu lesen und Meldungen auf der Standardausgabe anzuzeigen:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

Herzlichen Glückwunsch! Sie haben Apache Kafka erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation von Apache Kafka in einem CentOS 8-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Kafka-Website zu besuchen .