So installieren Sie Apache Hadoop auf CentOS 8

In diesem Tutorial zeigen wir Ihnen, wie Sie Apache Hadoop auf CentOS 8 installieren. Für diejenigen unter Ihnen, die es nicht wussten, Apache Hadoop ist ein Open-Source-Framework, das für verteilte Speicherung als verwendet wird sowie die verteilte Verarbeitung von Big Data auf Computerclustern, die auf handelsüblicher Hardware ausgeführt werden Anstatt sich auf Hardware zu verlassen, um eine hohe Verfügbarkeit bereitzustellen, ist die Bibliothek selbst darauf ausgelegt, Fehler auf der Anwendungsebene zu erkennen und zu handhaben und so einen hochverfügbaren Dienst bereitzustellen Spitze eines Clusters von Computern, von denen jeder fehleranfällig sein kann.

Dieser Artikel geht davon aus, dass Sie zumindest über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Website auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt Sie voraus im Root-Konto ausgeführt werden, wenn nicht, müssen Sie möglicherweise 'sudo hinzufügen ‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen die Schritt-für-Schritt-Installation von Apache Hadoop auf einem CentOS 8-Server.

Voraussetzungen

• Ein Server, auf dem eines der folgenden Betriebssysteme ausgeführt wird:CentOS 8.
• Es wird empfohlen, dass Sie eine neue Betriebssysteminstallation verwenden, um potenziellen Problemen vorzubeugen.
• SSH-Zugriff auf den Server (oder öffnen Sie einfach das Terminal, wenn Sie sich auf einem Desktop befinden).
• Ein non-root sudo user oder Zugriff auf den root user . Wir empfehlen, als non-root sudo user zu agieren , da Sie Ihr System beschädigen können, wenn Sie als Root nicht aufpassen.

Installieren Sie Apache Hadoop auf CentOS 8

Schritt 1. Beginnen wir zunächst damit, sicherzustellen, dass Ihr System auf dem neuesten Stand ist.

sudo dnf update

Schritt 2. Java installieren.

Apache Hadoop ist in Java geschrieben und unterstützt nur Java Version 8. Sie können OpenJDK 8 mit dem folgenden Befehl installieren:

sudo dnf install java-1.8.0-openjdk ant

Prüfen Sie die Java-Version:

java -version

Schritt 3. Installieren von Apache Hadoop CentOS 8.

Es wird empfohlen, einen normalen Benutzer zu erstellen, um Apache Hadoop zu konfigurieren, erstellen Sie einen Benutzer mit dem folgenden Befehl:

useradd hadoop
passwd hadoop

Als nächstes müssen wir die passwortlose SSH-Authentifizierung für das lokale System konfigurieren:

su - hadoop
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 640 ~/.ssh/authorized_keys

Überprüfen Sie die passwortlose SSH-Konfiguration mit dem Befehl:

ssh localhost

Laden Sie als Nächstes die neueste stabile Version von Apache Hadoop herunter. Zum Zeitpunkt des Schreibens dieses Artikels ist es Version 3.2.1:

wget http://apachemirror.wuchna.com/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -xvzf hadoop-3.2.1.tar.gz
mv hadoop-3.2.1 hadoop

Dann müssen Sie Hadoop- und Java-Umgebungsvariablen auf Ihrem System konfigurieren:

nano ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Jetzt aktivieren wir die Umgebungsvariablen mit folgendem Befehl:

source ~/.bashrc

Öffnen Sie als Nächstes die Hadoop-Umgebungsvariablendatei:

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.232.b09-2.el8_1.x86_64/

Hadoop hat viele Konfigurationsdateien, die gemäß den Anforderungen Ihrer Hadoop-Infrastruktur konfiguriert werden müssen. Beginnen wir mit der Konfiguration mit einem einfachen Hadoop-Cluster-Setup mit einem einzelnen Knoten:

cd $HADOOP_HOME/etc/hadoop

core-site.xml bearbeiten:

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

Erstellen Sie die Verzeichnisse namenode und datanode unter hadoop user home /home/hadoop Verzeichnis:

mkdir -p ~/hadoopdata/hdfs/{namenode,datanode}

Bearbeiten Sie hdfs-site.xml :

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

Bearbeiten Sie mapred-site.xml :

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

Yarn-Site.xml bearbeiten:

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

Formatieren Sie jetzt namenode mit dem folgenden Befehl, vergessen Sie nicht, das Speicherverzeichnis zu überprüfen:

hdfs namenode -format

Starten Sie sowohl NameNode- als auch DataNode-Daemons, indem Sie die von Hadoop bereitgestellten Skripts verwenden:

start-dfs.sh

Schritt 4. Firewall konfigurieren.

Führen Sie den folgenden Befehl aus, um Apache Hadoop-Verbindungen durch die Firewall zuzulassen:

firewall-cmd --permanent --add-port=9870/tcp
firewall-cmd --permanent --add-port=8088/tcp
firewall-cmd --reload

Schritt 5. Zugriff auf Apache Hadoop.

Apache Hadoop ist standardmäßig auf HTTP-Port 9870 und Port 50070 verfügbar. Öffnen Sie Ihren bevorzugten Browser und navigieren Sie zu http://your-domain.com:9870 oder http://your-server-ip:9870 .

Herzlichen Glückwunsch! Sie haben Apache Hadoop erfolgreich installiert. Vielen Dank, dass Sie dieses Tutorial zur Installation von Hadoop auf einem CentOS 8-System verwendet haben. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, die offizielle Apache Hadoop-Website zu besuchen.