In einem früheren Artikel haben wir die Installation von Cloudera Manager erklärt, in diesem Artikel erfahren Sie, wie Sie CDH installieren und konfigurieren (Cloudera Distribution Hadoop ) in RHEL/CentOS 7 .
Während der Installation des CDH-Pakets müssen wir den Cloudera Manager sicherstellen und CDH Kompatibilität. Die Cloudera-Version besteht aus 3 Teilen –
Zum Beispiel verwenden wir Cloudera Manager 6.3.1 und CDH 6.3.2 . Hier 6 ist Dur und 3 ist die Minor-Version. Major und Minor müssen gleich sein, um Kompatibilitätsprobleme zu vermeiden.
Anforderungen
- Best Practices für die Bereitstellung von Hadoop Server auf CentOS/RHEL 7 – Teil 1
- Einrichten von Hadoop-Voraussetzungen und Sicherheitshärtung – Teil 2
- So installieren und konfigurieren Sie den Cloudera Manager auf CentOS/RHEL 7 – Teil 3
Wir werden die folgenden 2 Knoten für die Installation von CDH verwenden. Wir haben Cloudera Manager bereits in master1 installiert , außerdem verwenden wir master1 als Repo-Server.
master1.tecmint.com worker1.tecmint.com
Schritt 1:Laden Sie CDH-Pakete auf den Master-Server herunter
1. Verbinden Sie sich zuerst mit master1 Server und laden Sie CDH Parcels herunter Dateien im Verzeichnis /var/www/html/cloudera-repos/cdh Verzeichnis . Wir müssen die unten genannten 3 Dateien herunterladen, die mit RHEL/CentOS 7 kompatibel sein sollten .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Stellen Sie vor dem Herunterladen dieser Dateien sicher, dass Sie eine cdh erstellen Verzeichnis unter /var/www/html/cloudera-repos/ Ort.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Laden Sie als Nächstes die oben genannten 3 Dateien mit dem folgenden wget-Befehl herunter.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Schritt 2:Cloudera Manager Repo auf Worker-Clients einrichten
4. Verbinden Sie sich jetzt mit worker Server und kopieren Sie die Repo-Datei (cloudera-manager.repo ) vom Repo-Server (master1 ) an alle verbleibenden Worker-Server. Diese Repo-Datei stellt für die Server sicher, dass alle erforderlichen Pakete und RPMs während der Installation vom Repo-Server heruntergeladen werden.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Nachdem das Repository hinzugefügt wurde, listen Sie die aktivierten Repositorys auf, um sicherzustellen, dass der cloudera-manager Repo ist aktiviert.
$ yum repolist
Schritt 3:Cloudera Manager-Daemons und -Agent auf Worker-Servern installieren
6. Jetzt müssen wir cloudera-manager-daemons installieren und cloudera-manager-agent auf allen verbleibenden Servern.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Als nächstes müssen Sie den Cloudera Manager konfigurieren Agent, um den Cloudera Manager zu melden Server.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Ersetzen Sie den localhost mit Cloudera Manager Server-IP-Adresse.
8. Starten Sie Cloudera Manager Agent und überprüfen Sie den Status.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Schritt 4:CDH installieren und einrichten
Wir haben CDH Pakete in master1 – Repo-Server. Stellen Sie sicher, dass alle Server eine Cloudera Manager-Repo-Datei in /etc/yum.repos.d/ haben wenn Sie der automatischen Installation mit Cloudera Manager folgen .
9. Melden Sie sich bei Cloudera Manager mit der folgenden URL an Port 7180 an und verwenden Sie den Standardbenutzernamen und das Standardpasswort von Cloudera Manager .
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Sobald Sie sich angemeldet haben, werden Sie mit der Willkommensseite begrüßt. Hier finden Sie Versionshinweise, Neue Funktionen von Cloudera Manager.
11. Akzeptieren Sie die Lizenz und fahren Sie fort.
12. Wählen Sie die Ausgabe aus. Die Testversion ist standardmäßig ausgewählt, wir können damit fortfahren.
13. Folgen Sie nun den Schritten zur Cluster-Installation. Fahren Sie mit der Willkommensseite fort.
14. Benennen Sie den Cluster und fahren Sie fort, wir haben ihn als „tecmint“ benannt “. Es gibt zwei Arten von Clustern, die Sie definieren können. Wir fahren mit dem regulären Cluster fort.
- Regulärer Cluster :Besteht aus Speicherknoten, Rechenknoten und anderen erforderlichen Diensten.
- Compute-Cluster :Besteht nur aus Rechenknoten. Externer Speicher kann zum Speichern von Daten verwendet werden.
15. Wir haben bereits Cloudera Manager Agents installiert auf allen Servern. Sie finden diese Server unter „Aktuell verwaltete Hosts“. “. Für die automatische Installation müssen Sie den FQDN oder die IP der Server in die „Neue Hosts eintragen ” Option und Suche. Cloudera Manager erkennt automatisch die Hosts, auf denen wir CDH installieren müssen.
Klicken Sie hier auf „Aktuell verwaltete Hosts“. “, wählen Sie alle Hosts aus, indem Sie „Hostname“ auswählen ’ und weiter.
16. Wählen Sie Repository – mit Paket ist der empfohlene Weg. Klicken Sie auf "Weitere Optionen". ’, um das Repository zu konfigurieren.
17. Geben Sie die lokale Repository-URL wie unten erwähnt ein. Entfernen Sie alle verbleibenden öffentlichen Repositories, die auf Web verweisen (Cloudera Repositories ).
Dies ist die CDH lokale Repository-URL, die wir in master1 haben .
http://104.211.95.96/cloudera-repos/cdh/
18. Sobald die Repository-URL eingegeben wurde, zeigt diese Seite nur verfügbare Parzellen an. Fahren Sie mit diesem Schritt fort.
19. Jetzt werden die Pakete heruntergeladen, verteilt, entpackt und auf allen verfügbaren Servern aktiviert.
20. Einmal die CDH Parcels aktiviert sind, überprüfen Sie den Cluster . Dieser Schritt führt eine Zustandsprüfung des Clusters durch. Hier überspringen wir und fahren fort.
Schritt 5:Clusterkonfiguration
21. Hier müssen wir die Dienste auswählen im Cluster installiert werden . Einige gepackte Kombinationen werden standardmäßig verfügbar sein, wir entscheiden uns für Custom Services .
22. Im Zolldienst , installieren wir nur Kernkomponenten (HDFS und GARN ) zu diesem Demozweck.
23. Weisen Sie die Rollen dem Server zu. Wir können entsprechend unseren Anforderungen anpassen. Die folgende Tabelle zeigt die empfohlene Rollenverteilung für einen einfachen kleinen Cluster mit 5 bis 20 Knoten mit hoher Verfügbarkeit.
24. Wählen Sie den Datenbanktyp, den Hostnamen, den DB-Namen, den Benutzernamen und das Kennwort aus. Da wir Embedded PostgreSQL verwenden, wird es standardmäßig ausgewählt. Testen Sie die Verbindung, sie sollte erfolgreich sein.
25. Diese Seite zeigt die Standardkonfigurationsparameter von HDFS und Garn , einschließlich Datenverzeichnisse. Überprüfen Sie alle Konfigurationsdetails und nehmen Sie bei Bedarf Änderungen vor. Fahren Sie dann damit fort.
26. Auf dieser Seite werden die Details des „Ersten Laufs“ angezeigt ' Befehl. Sie können es erweitern, um die Details der ausgeführten Befehle anzuzeigen. Wenn es Netzwerk- oder Berechtigungsprobleme im Cluster gibt, schlägt dieser Schritt fehl. Normalerweise entscheidet dieser Schritt über die reibungslose Installation des Cluster Building.
27. Sobald der obige Schritt abgeschlossen ist, klicken Sie auf „Fertig stellen “, um die Installation abzuschließen. Dies ist das Dashboard von Cloudera Manager nach der Installation von CDH.
http://104.211.95.96:7180/cmf/home
Schlussfolgerung
Wir haben den Cloudera Manager fertiggestellt und CDH Installation erfolgreich. Im Cloudera Manager-Dashboard , finden Sie einen vordefinierten Satz von Diagrammen, mit denen Sie Cluster-CPU, Festplatten-E/A usw. überwachen können. Wir können den gesamten Cluster mit diesem Cloudera Manager verwalten . Wir werden alle Verwaltungsvorgänge in den kommenden Artikeln sehen.