In dieser Anleitung veranschaulichen wir die Installation von Apache Airflow unter Ubuntu 20.04
Apache Airflow ist eine Open-Source-Workflow-Management-Plattform für Data-Engineering-Pipelines. Es begann bei Airbnb im Oktober 2014 als Lösung zur Verwaltung des increApache Airflow ist eine Open-Source-Workflow-Management-Plattform für Data-Engineering-Pipelines.
Apache Airflow ist eine automatisierte Open-Source-Workflow-Orchestrierungsplattform zur Verwaltung der Aufgabenplanung und -priorisierung. Die Schnittstelle verwendet ein Python-basiertes System, um Benutzern die Eingabe von Aufgaben und Abhängigkeiten zu ermöglichen. Airflow kann dann verwendet werden, um die Verteilung und Ausführung der Arbeitslast zu überwachen.
So begann es bei Airbnb im Oktober 2014 als Lösung zur Verwaltung der immer komplexer werdenden Arbeitsabläufe des Unternehmens. Die Erstellung von Airflow ermöglichte es Airbnb, ihre Arbeitsabläufe programmgesteuert zu erstellen und zu planen und sie über die integrierte Airflow-Benutzeroberfläche zu überwachen. äußerst komplexe Arbeitsabläufe. Die Erstellung von Airflow ermöglichte es Airbnb, ihre Arbeitsabläufe programmgesteuert zu erstellen und zu planen und sie über die integrierte Airflow-Benutzeroberfläche zu überwachen.
Installieren Sie Apache Airflow
Befolgen Sie einfach die nachstehenden Schritte, um mit Apache Airflow zu beginnen
- Stellen Sie sicher, dass alle Ihre Systempakete auf dem neuesten Stand sind, indem Sie den folgenden Befehl ausführen:
sudo apt update -y && sudo apt upgrade -y- MySQL-Server ist für Apache Airflow erforderlich, verwenden Sie nicht SQLite als Metadaten-DB in der Produktion – es sollte nur für Entwicklung/Tests verwendet werden Wir empfehlen die Verwendung von Postgresql oder MySQL. Klicken Sie hier für weitere Informationen.
- Der nächste Schritt ist die Installation von pip mit den folgenden Befehlen:
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- Stellen Sie sicher, dass die notwendigen Abhängigkeiten für Apache Airflow installiert sind, indem Sie den folgenden Befehl ausführen:
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflow benötigt ein Home-Verzeichnis, in dem es alle seine Einstellungen und Konfigurationen speichert. Führen Sie dazu den folgenden Befehl aus:
export AIRFLOW_HOME=~/airflow- Installieren Sie Apache Luftstrom indem Sie die folgenden Befehle ausführen:
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- Starten Sie dann Ihr System neu.
reboot- Vergewissern Sie sich, dass Apache Airflow erfolgreich installiert wurde, indem Sie die Version überprüfen
airflow version
- Der nächste Schritt besteht darin, die Apache Airflow-Datenbank zu initialisieren und zu aktualisieren.
airflow initdb
airflow db upgrade
- Startet den Apache Airflow-Server durch Ausführen des folgenden Befehls
airflow webserver -p 8080
- Sie können auch einen Apache Airflow-Benutzer erstellen,
HINWEIS :Es wird kein Standard-Benutzername und -Passwort erstellt, wenn Sie nur das Python-Rad verwenden.
Führen Sie Folgendes aus, um einen Benutzer zu erstellen:
airflow users create --role Admin --username admin --email admin --firstname admin 
- Um zu überprüfen, ob Apache Airflow jetzt ausgeführt wird, öffnen Sie einen Webbrowser und gehen Sie zu localhost:8080 . Melden Sie sich mit dem gerade erstellten Benutzer an, Sie werden zum folgenden Fenster weitergeleitet
Schlussfolgerung
Das ist es,
diese Anleitung zur Installation des Apache Airflow in Ubuntu 20.04
Danke