So installieren Sie Apache Spark unter Debian 10

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Spark unter Debian 10 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Spark ist ein schnelles und universelles Cluster-Computing-System. Es bietet High-Level-APIs in Java, Scala und Python sowie eine optimierte Engine, die allgemeine Ausführungsdiagramme unterstützt.Es unterstützt auch eine Vielzahl von High-Level-Tools, darunter Spark SQL für SQL und strukturierte Informationsverarbeitung, MLlib für maschinelles Lernen , GraphX ​​für die Grafikverarbeitung und Spark Streaming.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Spark auf einem Debian 10 (Buster).

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:Debian 10 (Buster).
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Spark auf Debian 10 Buster

Schritt 1. Bevor Sie das folgende Tutorial ausführen, ist es wichtig, sicherzustellen, dass Ihr System auf dem neuesten Stand ist, indem Sie das folgende apt ausführen Befehle im Terminal:

sudo apt update

Schritt 2. Java installieren.

Apache Spark benötigt Java, um ausgeführt zu werden, stellen wir sicher, dass Java auf unserem Debian-System installiert ist:

sudo apt install default-jdk

Überprüfen Sie die Java-Version mit dem Befehl:

java -version

Schritt 3. Scala installieren.

Jetzt installieren wir das Scala-Paket auf Debian-Systemen:

sudo apt install scala

Überprüfen Sie die Version von Scala:

scala -version

Schritt 4. Apache Spark unter Debian installieren.

Jetzt können wir die Apache Spark-Binärdatei herunterladen:

wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.1/spark-3.1.1-bin-hadoop2.7.tgz

Extrahieren Sie als Nächstes den Spark-Tarball:

tar xvf spark-3.1.1-bin-hadoop2.7.tgz
sudo mv spark-3.1.1-bin-hadoop2.7/ /opt/spark

Wenn Sie fertig sind, stellen Sie die Spark-Umgebung ein:

nano ~/.bashrc

Fügen Sie am Ende der Datei die folgenden Zeilen hinzu:

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

Speichern Sie die Änderungen und schließen Sie den Editor. Um die Änderungen zu übernehmen, führen Sie Folgendes aus:

source ~/.bashrc

Starten Sie jetzt Apache Spark mit diesen Befehlen, von denen einer der Master des Clusters ist:

start-master.sh

Um die Spark Web-Benutzeroberfläche wie unten dargestellt anzuzeigen, öffnen Sie einen Webbrowser und geben Sie die localhost-IP-Adresse auf Port 8080 ein:

http://127.0.0.1:8080/

In diesem Einzelserver-Standalone-Setup starten wir einen Slave-Server zusammen mit dem Master-Server. Die start-slave.sh Ein Befehl wird verwendet, um den Spark-Worker-Prozess zu starten:

start-slave.sh spark://ubuntu1:7077

Jetzt, da ein Worker betriebsbereit ist und ausgeführt wird, sollten Sie ihn in der Liste sehen, wenn Sie die Web-Benutzeroberfläche von Spark Master neu laden:

Wenn Sie die Konfiguration abgeschlossen haben, starten Sie den Master- und den Slave-Server und testen Sie, ob die Spark-Shell funktioniert:

spark-shell

Herzlichen Glückwunsch! Sie haben Spark erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation der neuesten Version von Apache Spark auf dem Debian-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Spark-Website.