So erstellen Sie eine Tabelle in Hive

Einführung

Apache Hive ist ein Data-Warehousing-Tool, mit dem Abfragen durchgeführt und strukturierte Daten in Apache Hadoop analysiert werden. Es verwendet eine SQL-ähnliche Sprache namens HiveQL.

In diesem Artikel erfahren Sie, wie Sie eine Tabelle in Hive erstellen und Daten laden. Wir zeigen Ihnen auch wichtige HiveQL-Befehle zum Anzeigen von Daten.

Voraussetzungen

• Ein System, auf dem Linux ausgeführt wird
• Ein Benutzerkonto mit sudo oder root Privilegien
• Zugriff auf ein Terminalfenster/eine Befehlszeile
• Funktionierendes Hadoop Installation
• Arbeitender Bienenstock Installation

Tabelle in Hive erstellen und laden

Eine Tabelle in Hive ist ein Satz von Daten, der ein Schema verwendet, um die Daten nach bestimmten Kennungen zu sortieren.

Die allgemeine Syntax zum Erstellen einer Tabelle in Hive lautet:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
(col_name data_type [COMMENT 'col_comment'],, ...)
[COMMENT 'table_comment']
[ROW FORMAT row_format]
[FIELDS TERMINATED BY char]
[STORED AS file_format];

Führen Sie die folgenden Schritte aus, um eine Tabelle in Hive zu erstellen.

Schritt 1:Erstellen Sie eine Datenbank

1. Erstellen Sie eine Datenbank mit dem Namen „Firma“, indem Sie create ausführen Befehl:

create database company;

Das Terminal druckt eine Bestätigungsnachricht und die für die Ausführung der Aktion benötigte Zeit.

2. Überprüfen Sie als Nächstes, ob die Datenbank erstellt wurde, indem Sie show ausführen Befehl:

show databases;

3. Suchen Sie die Datenbank „Firma“ in der Liste:

4. Öffnen Sie die Datenbank „Firma“ mit dem folgenden Befehl:

use company;

Schritt 2:Erstellen Sie eine Tabelle in Hive

Die Datenbank „Firma“ enthält nach der erstmaligen Erstellung keine Tabellen. Lassen Sie uns eine Tabelle erstellen, deren Kennungen mit der .txt-Datei übereinstimmen, aus der Sie Daten übertragen möchten.

1. Erstellen Sie eine „employees.txt“-Datei im Verzeichnis /hdoop Verzeichnis. Die Datei muss Daten über Mitarbeiter enthalten:

2. Ordnen Sie die Daten aus der Datei „employees.txt“ in Spalten an. Die Spaltennamen in unserem Beispiel lauten:

• ID
• Name
• Land
• Abteilung
• Gehalt

3. Verwenden Sie beim Erstellen einer Tabelle Spaltennamen. Erstellen Sie die Tabelle, indem Sie den folgenden Befehl ausführen:

create table employees (id int, name string, country string, department string, salary int)

4. Erstellen Sie ein logisches Schema, das Daten aus der .txt-Datei in den entsprechenden Spalten anordnet. In der Datei „employees.txt“ werden die Daten durch ein '-' getrennt . So erstellen Sie einen logischen Schematyp:

row format delimited fields terminated by '-';

Das Terminal druckt eine Bestätigungsmeldung aus:

5. Überprüfen Sie, ob die Tabelle erstellt wurde, indem Sie show ausführen Befehl:

show tables;

Schritt 3:Daten aus einer Datei laden

Sie haben eine Tabelle erstellt, diese ist jedoch leer, da die Daten nicht aus der Datei „employees.txt“ geladen werden, die sich im Verzeichnis /hdoop befindet Verzeichnis.

1. Laden Sie Daten, indem Sie load ausführen Befehl:

load data inpath '/hdoop/employees.txt' overwrite into table employees;

2. Überprüfen Sie, ob die Daten geladen wurden, indem Sie select ausführen Befehl:

select * from employees;

Das Terminal druckt aus der employees.txt importierte Daten aus Datei:

Hive-Daten anzeigen

Sie haben mehrere Möglichkeiten, Daten aus der Tabelle anzuzeigen. Mit den folgenden Optionen können Sie große Datenmengen effizienter bearbeiten.

Spalten anzeigen

Zeigen Sie Spalten einer Tabelle an, indem Sie desc ausführen Befehl:

desc employees;

Die Ausgabe zeigt die Namen und Eigenschaften der Spalten an:

Ausgewählte Daten anzeigen

Nehmen wir an, Sie möchten Mitarbeiter und deren Herkunftsländer anzeigen. Wählen Sie Daten aus und zeigen Sie sie an, indem Sie select ausführen Befehl:

select name,country from employees;

Die Ausgabe enthält die Liste der Mitarbeiter und ihrer Länder: