Ubuntu 20.04 ist ein robustes Betriebssystem, das die Grundlage für die Bereitstellung vieler komplexer Infrastrukturen wie die reibungslose Übertragung und die schnelle und effiziente Verarbeitung von Datenströmen bildet. Heute lernen Sie, wie Sie einen bereitstellen, denn in diesem Beitrag erfahren Sie, wie Sie Apache Kafka unter Ubuntu 20.04 installieren.
Die Apache Kafka-Software ist eine plattformübergreifende Open-Source-Anwendung, die von der Apache Software Foundation entwickelt und auf die Stream-Verarbeitung spezialisiert ist. Sie können Log-Streams in Echtzeit veröffentlichen, speichern, verarbeiten und abonnieren. Es wurde entwickelt, um Datenströme aus verschiedenen Quellen zu verarbeiten und an verschiedene Benutzer zu verteilen.
Apache Kafka ist die Alternative zu einem traditionellen Messaging-System für Unternehmen. Es begann als internes System, das von LinkedIn entwickelt wurde, um 1,4 Milliarden Nachrichten pro Tag zu verarbeiten.
Diese Plattform hat begonnen, an Popularität zu gewinnen, dank großer Unternehmen wie Netflix und Microsoft, die sie in ihren Architekturen verwenden. Kafka ist in Java und Scala geschrieben, also muss es im System vorhanden sein, um ausgeführt zu werden.
Installieren Sie Apache Kafka auf Ubuntu 20.04
Apache Kafka wurde mit Java erstellt, daher müssen wir es installieren, bevor wir mit irgendwelchen Schritten fortfahren.
Öffnen Sie also ein Terminal oder verbinden Sie sich über SSH mit Ihrem Server und aktualisieren Sie Ubuntu
sudo apt update sudo apt upgrade
Installieren Sie jetzt Java auf Ubuntu.
sudo apt install default-jdk default-jre
Der nächste Schritt besteht darin, einen neuen Benutzer zum System hinzuzufügen, damit Kafka von diesem verwaltet werden kann.
sudo adduser kafka
Der von Ihnen erstellte Benutzer muss dem sudo hinzugefügt werden Gruppe, damit Sie über ausreichende Berechtigungen zum Ausführen des Programms verfügen.
sudo adduser kafka sudo
Nun, da der kafka Wenn der Benutzer erstellt und bereit ist, können Sie sich mit dem su anmelden Befehl
su -l kafka
Apache Kafka herunterladen und installieren
Erstellen Sie einen neuen Ordner, um das Programm herunterzuladen. Ich werde es kafka nennen Sie können jedoch einen anderen Namen wählen.
mkdir kafka
Greifen Sie nun darauf zu und von dort aus mit Hilfe des wget Befehl können Sie die neueste stabile Version des Programms herunterladen.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Beispielausgabe:
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Anschließend mit dem Befehl tar entpacken .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Wir haben die Binärdatei jetzt korrekt auf dem System. Daher müssen wir einige Konfigurationen vornehmen, bevor wir es verwenden können.
Konfigurieren von Apache Kafka vor der Verwendung
Standardmäßig erlaubt Ihnen Apache Kafka nicht, ein Thema zu löschen. In diesem Chaos kann ein Thema eine Kategorie, eine Gruppe oder ein Feedname sein, der in einer Nachricht veröffentlicht werden kann. Es ist also eine gute Idee, dies zu ändern.
Öffnen Sie dazu die server.properties Datei innerhalb der config Ordner
nano config/server.properties
Und suchen Sie delete.topic.enable Direktive und setzen Sie sie auf true .
delete.topic.enable = true
In derselben Datei können Sie den Ordner ändern, in dem Apache Kafka die generierten Protokolle speichert.
log.dirs=/home/kafka/logs
In diesem Fall sollte sich der Protokollordner im selben Verzeichnis wie das Home-Verzeichnis befinden.
Eine weitere Konfiguration, die wir vornehmen müssen, besteht darin, einen Dienst zu erstellen, um Kafka so zu verwalten, als wäre es ein Systemdienst. Dadurch wird es einfacher, es zu starten, zu stoppen und seinen Status zu überprüfen.
Allerdings müssen wir mit Zookeeper beginnen Dabei handelt es sich um einen Dienst, mit dem Kafka Clusterkonfigurationen und -status verwaltet.
Erstellen Sie dazu eine neue Datei für Zookeeper in dem Verzeichnis, in dem die Dienste gehostet werden.
sudo nano /etc/systemd/system/zookeeper.service
Und fügen Sie Folgendes hinzu
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Speichern Sie die Änderungen und schließen Sie den Editor.
Machen Sie jetzt dasselbe für Kafka.
sudo nano /etc/systemd/system/kafka.service
Und fügen Sie Folgendes hinzu:
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Speichern Sie erneut die Änderungen und schließen Sie den Editor.
Um die Änderungen zu übernehmen, aktualisieren Sie einfach die System-Daemon-Liste.
sudo systemctl daemon-reload
Und starten Sie die Kafka- und Zookeeper-Dienste.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Damit ist die Installation abgeschlossen.
Schlussfolgerung
Apache Kafka ist eine professionelle Open-Source-Lösung für große Unternehmen, die eine effektive Datenübertragung benötigen. Open-Source zu sein, gibt uns einen Hinweis darauf, wie leistungsfähig und handhabbar es ist.
Also, teilt diesen Beitrag und hinterlasst uns einen Kommentar.
Kafka-Website