Apache Kafka ist eine verteilte Streaming-Plattform, die von der Apache Software Foundation entwickelt und in Java und Scala geschrieben wurde. Apache Kafka wurde ursprünglich von LinkedIn entwickelt und 2011 als Open Source veröffentlicht.
Apache Kafka wird zum Erstellen einer Echtzeit-Streaming-Datenpipeline verwendet, die Daten zuverlässig zwischen System und Anwendungen überträgt. Es bietet eine einheitliche Datenverarbeitung mit hohem Durchsatz und geringer Latenz in Echtzeit.
In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka unter Ubuntu 18.04 Schritt für Schritt installieren und konfigurieren. Dieses Handbuch behandelt die Installation und Konfiguration von Apache Kafka und Apache Zookeeper.
Voraussetzungen
- Ubuntu 18.04
- Root-Rechte
Was werden wir tun?
- Installieren Sie Java OpenJDK 8
- Installieren Sie Apache Zookeeper
- Apache Kafka herunterladen und konfigurieren
- Apache Kafka und Zookeeper als Dienst konfigurieren
- Testen
Schritt 1 – Java OpenJDK 8 installieren
Apache Kafka wurde in Java und Scala geschrieben, also müssen wir Java auf dem Server installieren.
Aktualisieren Sie vor der Installation von Paketen das Repository und aktualisieren Sie alle Pakete.
sudo apt update
sudo apt upgrade
Installieren Sie nun das Java OpenJDK 8 aus dem Ubuntu-Repository mit dem folgenden apt-Befehl.
sudo apt install openjdk-8-jdk -y
Überprüfen Sie nach Abschluss der Installation die installierte Java-Version.
java -version
Jetzt sehen Sie das auf Ubuntu 18.04 installierte Java OpenJDK 8.
Schritt 2 – Apache Zookeeper installieren
Apache Kafka verwendet Zookeeper für die Konfiguration des Wahlcontrollers, der Clustermitgliedschaft und der Themen. Zookeeper ist ein verteilter Konfigurations- und Synchronisationsdienst.
In diesem Schritt installieren wir Zookeeper aus dem Ubuntu-Repository.
Führen Sie den folgenden apt-Befehl aus.
sudo apt install zookeeperd -y
Warten Sie, bis die Installation abgeschlossen ist.
Schritt 3 – Herunterladen und Konfigurieren von Apache Kafka
In diesem Schritt installieren wir Apache Kafka mit den Binärdateien, die von der Kafka-Website heruntergeladen werden können. Wir installieren und konfigurieren Apache Kafka und führen es als Nicht-Root-Benutzer aus.
Fügen Sie einen neuen Benutzer namens „kafka“ hinzu.
useradd -d /opt/kafka -s /bin/bash kafka
passwd kafka
Wechseln Sie nun in das Verzeichnis „/opt“ und laden Sie die Apache Kafka-Binärdateien mit wget herunter.
cd /opt
wget http://www-eu.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
Erstellen Sie nun ein neues Kafka-Verzeichnis.
mkdir -p /opt/kafka
Extrahieren Sie die Datei kafka_*.tar.gz in das Verzeichnis „kafka“ und ändern Sie den Eigentümer des Verzeichnisses in den Benutzer und die Gruppe „kafka“.
tar -xf kafka_2.11-2.0.0.tgz -C /opt/kafka --strip-components=1
sudo chown -R kafka:kafka /opt/kafka
Melden Sie sich jetzt beim Benutzer ‚kafka‘ an und bearbeiten Sie die server.properties-Konfiguration.
su - kafka
vim config/server.properties
Fügen Sie die folgende Konfiguration am Ende der Zeile ein.
delete.topic.enable = true
Speichern und beenden.
Die Konfiguration von Apache Kafka ist abgeschlossen.
Schritt 4 – Apache Kafka und Zookeeper als Dienste konfigurieren
In diesem Schritt konfigurieren wir Apache Kafka als Dienst und konfigurieren die Zolldienstkonfiguration für den Tierpfleger.
Gehen Sie in das Verzeichnis „/lib/systemd/system“ und erstellen Sie eine neue Dienstdatei „zookeeper.service“.
cd /lib/systemd/system/
vim zookeeper.service
Fügen Sie die Konfiguration unten ein.
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Speichern und beenden.
Erstellen Sie nun die Apache Kafka-Dienstdatei ‚kafka.service‘.
vim kafka.service
Fügen Sie die Konfiguration unten ein.
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties' ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Speichern und beenden.
Laden Sie die Systemmanager-Konfiguration neu.
systemctl daemon-reload
Starten Sie nun die Dienste Apache Zookeeper und Apache Kafka.
systemctl start zookeeper
systemctl enable zookeeper
systemctl start kafka
systemctl enable kafka
Der Apache Zookeeper und Kafka sind in Betrieb.
Zookeeper wird unter Port „2181“ und Kafka auf Port „9092“ ausgeführt. Überprüfen Sie dies mit dem netstat-Befehl unten.
netstat -plntu
Schritt 5 – Testen von Apache Kafka
Melden Sie sich beim Benutzer „kafka“ an und gehen Sie zum Verzeichnis „bin/“.
su - kafka
cd bin/
Erstellen Sie nun mithilfe der ausführbaren Datei „kafka-topics.sh“ ein neues Thema mit dem Namen „HakaseTesting“.
./kafka-topics.sh --create --zookeeper localhost:2181 \
--replication-factor 1 --partitions 1 \
--topic HakaseTesting
Und führen Sie „kafka-console-producer.sh“ mit dem Thema „HakaseTesting“ aus.
./kafka-console-producer.sh --broker-list localhost:9092 \
--topic HakaseTesting
Öffnen Sie nun ein neues Terminal und melden Sie sich beim Server an. Melden Sie sich dann beim Benutzer „kafka“ an.
Führen Sie „kafka-console-consumer.sh“ für das Thema „HakaseTesting“ aus.
./kafka-console-consumer.sh --bootstrap-server localhost:9092 \
--topic HakaseTesting --from-beginning
Und wenn Sie eine Eingabe aus der Shell „kafka-console-producer.sh“ eingeben, erhalten Sie das gleiche Ergebnis auf der Shell „kafka-console-consumer.sh“.
Die Installation und Konfiguration für Apache Kafka auf Ubuntu 18.04 wurde erfolgreich abgeschlossen.