So installieren Sie Apache Spark unter CentOS 8

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Spark auf CentOS 8 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Spark ist ein schnelles und universelles Cluster-Computing-System. Es bietet High-Level-APIs in Java, Scala und Python sowie eine optimierte Engine, die allgemeine Ausführungsdiagramme unterstützt.Es unterstützt auch eine Vielzahl von High-Level-Tools, darunter Spark SQL für SQL und strukturierte Informationsverarbeitung, MLlib für maschinelles Lernen , GraphX ​​für die Grafikverarbeitung und Spark Streaming.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen die schrittweise Installation von Apache Spark auf CentOS 8.

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:CentOS 8.
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Spark auf CentOS 8

Schritt 1. Lassen Sie uns zunächst sicherstellen, dass Ihr System auf dem neuesten Stand ist, und alle erforderlichen Abhängigkeiten installieren.

sudo dnf install epel-release
sudo dnf update

Schritt 2. Java installieren.

Die Java-Installation in diesem Artikel wurde im vorherigen Artikel behandelt. Wir beziehen uns auf den Java-Installationsartikel. Dann überprüfen wir die Java-Version mit der folgenden Befehlszeile:

java -version

Schritt 3. Scala installieren.

Apache Spark ist in der Programmiersprache Scala implementiert, also müssen wir Scala installieren, um Apache Spark auszuführen, also müssen wir nur sicherstellen, dass Java und Python vorhanden sind:

wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz
tar xvf scala-2.13.4.tgz
sudo mv scala-2.13.4 /usr/lib
sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala
export PATH=$PATH:/usr/lib/scala/bin

Überprüfen Sie nach der Installation die Scala-Version:

scala -version

Schritt 4. Apache Spark unter CentOS 8 installieren.

Jetzt laden wir die neueste Version von Apache Spark von der offiziellen Quelle herunter:

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
tar -xzf spark-3.0.1-bin-hadoop2.7.tgz
export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

Richten Sie einige Umgebungsvariablen ein, bevor Sie Spark starten:

echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile
echo 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profile
echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile

Der eigenständige Spark-Cluster kann manuell gestartet werden, d. h. durch Ausführen des Startskripts auf jedem Knoten oder einfach mithilfe der verfügbaren Startskripts. Zum Testen können wir Master- und Slave-Daemons ausführen auf demselben Rechner:

./sbin/start-master.sh

Schritt 5. Firewall für Apache Spark konfigurieren.

Führen Sie den folgenden Befehl aus, um den Port auf der Firewall zu öffnen:

sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp
sudo firewall-cmd --reload

Schritt 6. Zugriff auf die Apache Spark-Weboberfläche.

Apache Spark ist standardmäßig auf HTTP-Port 7077 verfügbar. Öffnen Sie Ihren bevorzugten Browser und navigieren Sie zu http://your-domain.com:7077 oder http://server-ip-address:7077 und führen Sie die erforderlichen Schritte aus, um die Installation abzuschließen.

Herzlichen Glückwunsch! Sie haben Apache Spark erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation des Apache Spark-Open-Source-Frameworks auf Ihrem CentOS 8-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Spark-Website.