Linux-Benutzer und Systemadministratoren werden immer wieder auf Dateiverwaltungsroutinen stoßen. Da das Linux-System, die Programme und Benutzerdateien von Megabyte auf Gigabyte anwachsen, besteht immer die Notwendigkeit, einige Ihrer OS-gebundenen Dateien zu zippen oder zu komprimieren.
[Das könnte Ihnen auch gefallen:So erstellen Sie eine große 1-GB- oder 10-GB-Datei unter Linux]
Die Vorteile des Zippens oder Komprimierens dieser Dateien sind wie folgt:
- Sie sparen und schaffen zusätzlichen Speicherplatz auf Ihrem Linux-Rechner.
- Da Linux über zusätzlichen Speicherplatz zum Arbeiten verfügt, wird seine Effizienz verbessert.
- Komprimierte Dateien lassen sich einfacher auf andere Maschinenumgebungen und Systeme übertragen.
- Das Zippen oder Komprimieren Ihrer Dateien bietet einen Vorteil bei der Datenverschlüsselung.
Die meisten Linux-Benutzer sind mit Gzip vertraut als effektives Mittel zum Komprimieren großer Dateien oder zum Erstellen von ZIP-Dateien aus etwas größeren Dateigrößen. Gzip ist in fast allen Linux-Betriebssystem-Distributionen vorinstalliert.
Sie können die Verfügbarkeit auf Ihrem Linux-System mit dem folgenden Befehl überprüfen:
$ gzip --version
So komprimieren Sie Dateien mit Gzip unter Linux
Um eine einfache Datei mit Gzip zu komprimieren , müssen Sie nur einen Befehl ähnlich dem folgenden ausführen:
$ gzip linuxshelltips_v2.txt
Sie sollten sich auf demselben Pfad wie die Datei befinden, die komprimiert oder gezippt werden muss, wenn Sie auf das obige gzip verweisen Befehl.
So komprimieren Sie große Dateien mit Gzip unter Linux
Mit Gzip zum Komprimieren von Dateien unter Linux ist schnell und effizient, bis Sie anfangen, mit großen Dateien umzugehen. 100 GB+ komprimieren Dateien über Gzip dauert es unnötige Stunden, bis der gesamte Komprimierungsprozess erfolgreich abgeschlossen ist, selbst wenn die Maschinenhardware mit minimalen CPU-Spezifikationen wie Core (TM) i3-2350M CPU @ 2,30 GHz leistungsschwach ist. Was ist, wenn Sie nicht so viel Zeit haben?
Gzip ist an eine Aufgabe gebunden, was bedeutet, dass es jeweils einen einzelnen Dateikomprimierungsjob perfekt ausführen kann. Es befasst sich nur mit Dateien und ignoriert das Komprimieren von Verzeichnissen.
Trotz dieser Einschränkungen müssen Anwendungen gzip-komprimierte Dateien vor dem Lesen nicht extrahieren. Aufgrund seiner Abhängigkeit von einem einzelnen Prozessorkern dauert die Komprimierung großer Dateien jedoch Stunden.
Gzip-Alternativen für hohe Komprimierung in Linux
Während der Titel dieses Artikels auf die Notwendigkeit des schnellen Komprimierens großer Dateien mit hoher Komprimierung durch Gzip eingeht , mussten wir uns mit den Nachteilen von Gzip befassen damit Sie die besseren Alternativen dazu annehmen können.
Pigz – Komprimiere Dateien mit über 100 GB mit hoher Komprimierung
Im Gegensatz zu Gzip das Single-Core-orientiert ist, Pigz ist Multi-Core-orientiert und komprimiert Ihre Zieldateien auch in “.gz” Dateierweiterung.
Es hat den Vorteil einer verbesserten Komprimierungszeit beim Umgang mit großen Dateien wie 100 GB+ . Denken Sie an Pigz als Multithread-Gzip-Version.
Pigz unter Linux installieren
Verweisen Sie auf eines der folgenden Pigz Installationsbefehle in Bezug auf Ihre Linux-Betriebssystemdistribution.
$ sudo apt-get install pigz [On Debian, Ubuntu and Mint] $ sudo yum install pigz [On RHEL/CentOS/Fedora and Rocky Linux/AlmaLinux] $ sudo emerge -a sys-apps/pigz [On Gentoo Linux] $ sudo pacman -S pigz [On Arch Linux] $ sudo zypper install pigz [On OpenSUSE]
Dateien mit mehr als 100 GB mit Pigz komprimieren
Betrachten Sie die folgende Dateistatistik von über 100 GB:
$ stat LinuxShellTipsBackup.iso
Da diese Datei (LinuxShellTipsBackup.iso ) erfüllt das Kriterium von 100 GB+ , also 164 GB , sollten wir versuchen, es mit Pigz zu komprimieren .
Die Befehlsverwendung sollte der von Gzip ähneln.
$ Pigz -9 -k -p4 LinuxShellTipsBackup.iso
Die Befehlsoptionen:
- -9 :Bietet die beste Komprimierung (Hohe Komprimierung).
- -k :Behält die Originaldatei bei.
- -p4 :Weist Pigz an, 4 Prozessorkerne zu verwenden, da es auf mehrere Kerne ausgerichtet ist.
Mehr Prozessorkerne beschleunigen den Komprimierungsprozess. Die Anzahl der zu verwendenden Prozessorkerne sollte von den Prozessoreigenschaften Ihrer Maschine abhängen, z. Core i3, Core i5, Core i7.
Die resultierende Dateikomprimierungsgröße beträgt 156 GB von den ursprünglichen 164 GB . Wenn wir uns entscheiden, die Originaldatei nicht zu behalten, werden wir 8 GB haben (164B-156GB ) an zusätzlichem Speicherplatz.
Eine weitere gute Sache ist, dass Sie die archivierten Dateien immer noch öffnen und darin navigieren können, ohne sie unbedingt extrahieren zu müssen.
$ stat LinuxShellTipsBackup.iso.gz
Um Ihre Dateien zu dekomprimieren oder zu extrahieren, verwenden Sie einen der folgenden Befehle:
$ unpigz LinuxShellTipsBackup.iso.gz or $ pigz -d LinuxShellTipsBackup.iso.gz
Vergleich der Komprimierungsgeschwindigkeit von Pigz und Gzip
Vergleichen wir ihre Komprimierungsgeschwindigkeit mit einer etwas kleineren Datei.
Für Pigz,
$ time pigz file.mp4
Für Gzip,
$ time gzip file.mp4
.
Schwein gewinnt mit schnellerer Komprimierungszeit, auch ohne Angabe der Anzahl der zu verwendenden Prozessorkerne.
Der bemerkenswerte Trick, große Dateien zu komprimieren (100 GB+ ) soll sicherstellen, dass die von Ihnen verwendete ZIP-Anwendung Multi-Core- oder Multi-Thread-Verarbeitung unterstützt. Solche Programme (z.B. Pigz ) Begrenzung oder Reduzierung des Flaschenhalseffekts, der mit der Komprimierung großer Dateien verbunden ist.