In diesem Artikel haben wir den Schritt-für-Schritt-Prozess zur Installation von Cloudera Manager beschrieben nach industrieller Praxis. In Teil 2 sind wir bereits die Cloudera-Voraussetzungen durchgegangen, stellen Sie sicher, dass alle Server perfekt vorbereitet sind.
Hier haben wir einen 5-Knoten-Cluster mit 2 Mastern und 3 Workern. Ich habe 5 AWS EC2 verwendet Instanzen, um den Installationsvorgang zu demonstrieren. Ich habe diese 5 Server wie folgt benannt.
master1.tecmint.com master2.tecmint.com worker1.tecmint.com worker2.tecmint.com worker3.tecmint.com
Cloudera-Manager ist ein Verwaltungs- und Überwachungstool für die gesamte CDH . Wir Administratoren nennen es normalerweise ein Verwaltungstool für Cloudera Hadoop . Mit diesem Tool können wir Konfigurationsänderungen bereitstellen, überwachen, steuern und vornehmen. Dies ist sehr wichtig, um den gesamten Cluster zu verwalten.
Unten sind die wichtigen Verwendungszwecke von Cloudera Manager aufgeführt.
- Hadoop-Cluster automatisiert bereitstellen und konfigurieren.
- Zustand des Clusters überwachen
- Benachrichtigungen konfigurieren
- Fehlerbehebung
- Berichte
- Clusternutzungsbericht erstellen
- Ressourcen dynamisch konfigurieren
Schritt 1:Installieren von Apache Web Server auf CentOS
Wir werden den master1 verwenden als Webserver für Cloudera Repositories. Außerdem ist Cloudera Manager eine WebUI, also brauchen wir Apache Eingerichtet. Befolgen Sie die nachstehenden Schritte, um den Apache-Webserver zu installieren.
# yum -y install httpd
Sobald httpd installiert ist, starten Sie es und aktivieren Sie es, damit es beim Booten gestartet wird.
# systemctl start httpd # systemctl enable httpd
Stellen Sie nach dem Start von httpd den Status sicher.
# systemctl status httpd
Öffnen Sie nach dem Start von httpd einen Browser in Ihrem lokalen System und fügen Sie die IP-Adresse von master1 ein in der Suchleiste sollten Sie diese Testseite erhalten, um sicherzustellen, dass httpd einwandfrei läuft.
Schritt 2:Lokales DNS konfigurieren, um IP und Hostnamen aufzulösen
Wir müssen einen DNS-Server haben oder /etc/hosts konfigurieren um IP und Hostnamen aufzulösen. Hier konfigurieren wir /etc/hosts , aber in Echtzeit wird ein dedizierter DNS-Server für die Produktionsumgebung vorhanden sein.
Führen Sie die folgenden Schritte aus, um einen Eintrag für alle Ihre Server in /etc/hosts zu erstellen .
# vi /etc/hosts
Dies sollte auf allen Servern konfiguriert werden.
13.235.27.144 master1.tecmint.com master1 13.235.135.170 master2.tecmint.com master2 15.206.167.94 worker1.tecmint.com worker1 13.232.173.158 worker2.tecmint.com worker2 65.0.182.222 worker3.tecmint.com worker3
Schritt 3:Konfigurieren Sie die passwortlose SSH-Anmeldung
Cloudera-Manager wird auf master1 installiert bei dieser Vorführung. Wir müssen passwortloses ssh von master1 konfigurieren zu allen anderen Knoten. Denn der Cloudera Manager verwendet ssh, um allen anderen Knoten zu kommunizieren, Pakete zu installieren.
Führen Sie die folgenden Schritte aus, um passwortloses SSH von master1 zu konfigurieren zu allen verbleibenden Servern. Wir werden einen Benutzer „tecmint haben ‘ um fortzufahren.
Erstellen Sie einen Benutzer „tecmint ‘ Alle 4 Server verwenden den useradd-Befehl wie gezeigt.
# useradd -m tecmint
Um dem Benutzer „tecmint das Root-Privileg zu erteilen ‘, fügen Sie die folgende Zeile in /etc/sudoers ein Datei. Sie können diese Zeile unter root hinzufügen, wie im Screenshot angegeben.
tecmint ALL=(ALL) ALL
Wechseln Sie zum Benutzer „tecmint“. ‘ und erstellen Sie den ssh-Schlüssel im master1 mit dem folgenden Befehl.
# sudo su tecmint $ ssh-keygen
Kopieren Sie nun den erstellten Schlüssel mit der ssh-copy-id auf alle 4 Server Befehl wie gezeigt.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
Jetzt sollten Sie in der Lage sein, ssh von master1 zu senden alle Server wie gezeigt ohne Passwort bleiben.
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Schritt 4:Cloudera Manager installieren und konfigurieren
Wir können den Vendor verwenden (Cloudera )-Repository, um alle Pakete mithilfe der Paketverwaltungstools in RHEL/CentOS zu installieren. In Echtzeit ist das Erstellen unseres eigenen Repositorys die beste Vorgehensweise, da wir möglicherweise keinen Internetzugang auf den Produktionsservern haben.
Hier werden wir Cloudera Manager 6.3.1 installieren freigeben. Da wir master1 verwenden werden Als Repo-Server laden wir die Pakete im unten angegebenen Pfad herunter.
Erstellen Sie die unten aufgeführten Verzeichnisse auf master1 Server.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
Wir können das Tool wget verwenden, um Pakete über http herunterzuladen. Installieren Sie also wget mit dem folgenden Befehl.
$ sudo yum -y install wget
Laden Sie als Nächstes die Tar-Datei von Cloudera Manager mit dem folgenden wget-Befehl herunter.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Extrahieren Sie die tar-Datei nach /var/www/html/cloudera-repos/cm6 , bereits haben wir master1 erstellt als Webserver, indem Sie http installieren und wir haben den Browser getestet.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Überprüfen Sie nun, ob sich alle Cloudera-RPM-Dateien unter /var/www/html/cloudera-repos/cm6/RPMS/x86_64 befinden Verzeichnis.
$ cd /var/www/html/cloudera-repos/cm6 $ ll
Erstellen Sie /etc/yum.repos.d/cloudera-manager.repo Dateien auf allen Servern in den Cluster-Hosts mit folgendem Inhalt, hier master1 (65.0.101.148) ist der Webserver.
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
Nachdem das Repository hinzugefügt wurde, führen Sie den folgenden Befehl aus, um die aktivierten Repositorys anzuzeigen.
$ yum repolist
Führen Sie den folgenden Befehl aus, um alle verfügbaren Cloudera-bezogenen Pakete im Repository anzuzeigen.
$ yum list available | grep cloudera*
Installieren Sie cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Führen Sie den folgenden Befehl aus, um alle installierten Cloudera-Pakete anzuzeigen.
$ yum list installed | grep cloudera*
Führen Sie den folgenden Befehl aus, um cloudera-scm-server-db zu starten Dies ist eine zugrunde liegende Datenbank zum Speichern von Cloudera Manager und andere Dienstmetadaten.
Standardmäßig Cloudera kommt mit postgre-sql die in den Cloudera Manager eingebettet ist . Wir installieren die eingebettete in einer externen Echtzeitdatenbank, die verwendet werden kann. Es kann Oracle sein , MySQL, oder PostgreSQL .
$ sudo systemctl start cloudera-scm-server-db
Führen Sie den folgenden Befehl aus, um den Status der Datenbank zu überprüfen.
$ sudo systemctl status cloudera-scm-server-db
Konfigurieren Sie die db.properties für den Cloudera Manager Server.
$ vi /etc/cloudera-scm-server/db.properties
Konfigurieren Sie den Wert unten als EMBEDDED um Cloudera Manager zu erstellen Verwenden Sie die Embedded Database .
com.cloudera.cmf.db.setupType=EMBEDDED
Führen Sie den folgenden Befehl aus, um den Cloudera Manager-Server zu starten.
$ sudo systemctl start cloudera-scm-server
Führen Sie den folgenden Befehl aus, um den Status von Cloudera Manager zu überprüfen Server.
$ sudo systemctl status cloudera-scm-server
Führen Sie den folgenden Befehl aus, um den Cloudera Manager zu starten und dessen Status zu überprüfen Agent.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Einmal der Cloudera Manager Server erfolgreich eingerichtet und läuft einwandfrei, können Sie die WebUI (Anmeldeseite) im Browser mit der IP-Adresse und der Portnummer 7180 anzeigen Dies ist die Portnummer von Cloudera Manager .
https://65.0.101.148:7180
Zusammenfassung
In diesem Artikel haben wir den Schritt-für-Schritt-Prozess für die Installation von Cloudera Manager gesehen auf CentOS 7 . Wir werden die CDH und andere Dienstinstallationen im nächsten Artikel sehen.