In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Spark auf CentOS 8 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Spark ist ein schnelles und universelles Cluster-Computing-System. Es bietet High-Level-APIs in Java, Scala und Python sowie eine optimierte Engine, die allgemeine Ausführungsdiagramme unterstützt.Es unterstützt auch eine Vielzahl von High-Level-Tools, darunter Spark SQL für SQL und strukturierte Informationsverarbeitung, MLlib für maschinelles Lernen , GraphX für die Grafikverarbeitung und Spark Streaming.
Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo
hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen die schrittweise Installation von Apache Spark auf CentOS 8.
Voraussetzungen
- Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:CentOS 8.
- Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
- Ein
non-root sudo user
oder Zugriff auf denroot user
. Wir empfehlen, alsnon-root sudo user
zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.
Installieren Sie Apache Spark auf CentOS 8
Schritt 1. Lassen Sie uns zunächst sicherstellen, dass Ihr System auf dem neuesten Stand ist, und alle erforderlichen Abhängigkeiten installieren.
sudo dnf install epel-release sudo dnf update
Schritt 2. Java installieren.
Die Java-Installation in diesem Artikel wurde im vorherigen Artikel behandelt. Wir beziehen uns auf den Java-Installationsartikel. Dann überprüfen wir die Java-Version mit der folgenden Befehlszeile:
java -version
Schritt 3. Scala installieren.
Apache Spark ist in der Programmiersprache Scala implementiert, also müssen wir Scala installieren, um Apache Spark auszuführen, also müssen wir nur sicherstellen, dass Java und Python vorhanden sind:
wget https://www.scala-lang.org/files/archive/scala-2.13.4.tgz tar xvf scala-2.13.4.tgz sudo mv scala-2.13.4 /usr/lib sudo ln -s /usr/lib/scala-2.13.4 /usr/lib/scala export PATH=$PATH:/usr/lib/scala/bin
Überprüfen Sie nach der Installation die Scala-Version:
scala -version
Schritt 4. Apache Spark unter CentOS 8 installieren.
Jetzt laden wir die neueste Version von Apache Spark von der offiziellen Quelle herunter:
wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz tar -xzf spark-3.0.1-bin-hadoop2.7.tgz export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
Richten Sie einige Umgebungsvariablen ein, bevor Sie Spark starten:
echo 'export PATH=$PATH:/usr/lib/scala/bin' >> .bash_profile echo 'export SPARK_HOME=$HOME/spark-3.0.1-bin-hadoop2.7' >> .bash_profile echo 'export PATH=$PATH:$SPARK_HOME/bin' >> .bash_profile
Der eigenständige Spark-Cluster kann manuell gestartet werden, d. h. durch Ausführen des Startskripts auf jedem Knoten oder einfach mithilfe der verfügbaren Startskripts. Zum Testen können wir Master- und Slave-Daemons ausführen auf demselben Rechner:
./sbin/start-master.sh
Schritt 5. Firewall für Apache Spark konfigurieren.
Führen Sie den folgenden Befehl aus, um den Port auf der Firewall zu öffnen:
sudo firewall-cmd --permanent --zone=public --add-port=7077/tcp sudo firewall-cmd --reload
Schritt 6. Zugriff auf die Apache Spark-Weboberfläche.
Apache Spark ist standardmäßig auf HTTP-Port 7077 verfügbar. Öffnen Sie Ihren bevorzugten Browser und navigieren Sie zu http://your-domain.com:7077
oder http://server-ip-address:7077
und führen Sie die erforderlichen Schritte aus, um die Installation abzuschließen.
Herzlichen Glückwunsch! Sie haben Apache Spark erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation des Apache Spark-Open-Source-Frameworks auf Ihrem CentOS 8-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Spark-Website.