Apache Kafka ist eine leistungsstarke Messaging-Engine, die in BigData weit verbreitet ist Projekte und die Datenanalyse Lebenszyklus. Es ist eine Open-Source-Plattform zum Erstellen von Echtzeit-Daten-Streaming-Pipelines. Es ist eine verteilte Publish-Subscribe-Plattform mit Zuverlässigkeit, Skalierbarkeit und Dauerhaftigkeit.
Wir können Kafka haben als Standalone oder als Cluster. Kafka speichert die Streaming-Daten und kann als Themen kategorisiert werden . Das Thema wird eine Reihe von Partitionen haben, so dass es eine beliebige Datenmenge verarbeiten kann. Außerdem können wir mehrere Replikate für Fehlertoleranz haben, wie wir es in HDFS haben . In einem Kafka-Cluster ist der Broker eine Komponente, die die veröffentlichten Daten speichert.
Zookeeper ist ein obligatorischer Dienst, um einen Kafka zu betreiben Cluster, da es zur Verwaltung der Koordination der Kafka-Broker verwendet wird. Zookeeper spielt eine Schlüsselrolle zwischen Erzeuger und Verbraucher, wo es für die Aufrechterhaltung des Zustands aller Makler verantwortlich ist.
In diesem Artikel erklären wir, wie Sie Apache Kafka installieren in einem einzelnen Knoten CentOS 7 oder RHEL 7 .
Installieren von Apache Kafka in CentOS 7
1. Zuerst müssen Sie Java installieren auf Ihrem System, um Apache Kafka auszuführen ohne Fehler. Installieren Sie also die standardmäßig verfügbare Version von Java Verwenden Sie den folgenden yum-Befehl und überprüfen Sie die Java Version wie abgebildet.
# yum -y install java-1.8.0-openjdk # java -version
2. Laden Sie als Nächstes die neueste stabile Version von Apache Kafka herunter von der offiziellen Website oder verwenden Sie den folgenden wget-Befehl, um es direkt herunterzuladen und zu extrahieren.
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz
3. Erstellen Sie einen symbolischen Link für kafka Paket, und fügen Sie dann den Kafka-Umgebungspfad zu .bash_profile hinzu Datei und initialisieren Sie sie dann wie gezeigt.
# ln -s kafka_2.13-2.7.0 kafka # echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile # source ~/.bash_profile
4. Starten Sie als Nächstes den Zookeeper , das in Kafka integriert ist Paket. Da es sich um einen Single-Node-Cluster handelt, können Sie den Zookeeper mit Standardeigenschaften starten.
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
5. Bestätigen Sie, ob der Tierpfleger erreichbar ist oder nicht, indem Sie einfach Telnet verwenden zum Tierpfleger Port 2181 .
# telnet localhost 9092
6. Erstellen Sie als Nächstes ein Beispielthema.
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
7. Listen Sie das erstellte Thema auf.
# kafka-topics.sh --zookeeper localhost:2181 --list
Schlussfolgerung
In diesem Artikel haben wir gesehen, wie ein Kafka-Cluster mit einem einzelnen Knoten in CentOS 7 installiert wird . Im nächsten Artikel erfahren Sie, wie Sie einen Kafka-Cluster mit mehreren Knoten installieren.