In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Kafka auf Ubuntu 16.04 LTS installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Kafka ist ein verteilter Nachrichtenagent, der für den Umgang mit riesigen Mengen an Echtzeitinformationen effektiv.Im Gegensatz zu herkömmlichen Agenten wie ActiveMQ und RabbitMQ fungiert Kafka als Bündel von einem oder mehreren Servern, was es hochgradig skalierbar macht, und aufgrund der verteilten Natur verfügt es über eine eingebaute Fehlertoleranz und bietet im Vergleich dazu einen höheren Durchsatz seine Gegenstücke.
Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Kafka auf einem Ubuntu 16.04 Xenial Xerus-Server.
Installieren Sie Apache Kafka auf Ubuntu 16.04 LTS
Schritt 1. Stellen Sie zunächst sicher, dass alle Ihre Systempakete auf dem neuesten Stand sind, indem Sie den folgenden apt-get ausführen Befehle im Terminal.
sudo apt-get update sudo apt-get upgrade
Schritt 2. Java installieren.
Kafka ist in Java geschrieben, Sie müssen Java auf Ihrem System installieren:
add-apt-repository -y ppa:webupd8team/java
Wenn Sie fertig sind, führen Sie den folgenden Befehl aus, um Java zu installieren:
apt-get update apt-get install oracle-java8-installer
Schritt 3. Zookeeper installieren.
Apache Kafka ist für die Clusterverwaltung auf Zookeeper angewiesen. Daher muss Zookeeper vor dem Start von Kafka gestartet werden:
apt-get install zookeeperd
Nach Abschluss der Installation wird ZooKeeper automatisch als Daemon gestartet. Standardmäßig lauscht es auf Port 2181:
netstat -ant | grep :2181
Schritt 4. Kafka Server installieren.
Laden Sie zuerst Kafka von der Apache-Website herunter und extrahieren Sie es. Sie können wget verwenden um Kafka herunterzuladen:
mkdir /opt/Kafka cd /opt/Kafka wget http://ftp.jaist.ac.jp/pub/apache/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz
Extrahieren Sie das heruntergeladene Archiv mit dem tar-Befehl in /opt/Kafka :
tar -xvf kafka_2.11-0.10.0.0.tgz -C /opt/Kafka/
Kafka-Server konfigurieren:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties
Sie können nohup verwenden mit einem Skript, um den Kafka-Server als Hintergrundprozess zu starten:
sudo nohup /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties /tmp/kafka.log 2>&1 &
Nun ist es an der Zeit zu überprüfen, ob der Kafka-Server korrekt funktioniert:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testing
Sie sollten die folgende Ausgabe sehen:
Created topic "testing".
Bitten Sie jetzt Zookeeper, verfügbare Themen zu Apache Kafka aufzulisten:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --list --zookeeper localhost:2181
Sie sollten die folgende Ausgabe sehen:
testing
Veröffentlichen Sie als Nächstes Beispielnachrichten im Apache Kafka-Thema namens Testing, indem Sie den folgenden Producer-Befehl verwenden:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing
Verwenden Sie zum Schluss den Consumer-Befehl, um nach Nachrichten im Apache Kafka-Thema mit dem Namen Testing zu suchen, indem Sie den folgenden Befehl ausführen:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testing --from-beginning
Sie sollten die folgende Ausgabe sehen:
Hi how are you? Where are you?
Nun, Sie haben erfolgreich verifiziert, dass Sie eine gültige Apache Kafka-Einrichtung mit Apache Zookeeper haben.
Herzlichen Glückwunsch! Sie haben Apache Kafka erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation von Apache Kafka auf Ihrem Ubuntu 16.04-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, das offizielle Apache Kafka zu lesen Webseite.