GNU/Linux >> LINUX-Kenntnisse >  >> Linux

Welche Archivierungsmethode eignet sich besser zum Komprimieren von Textdateien unter Linux?

Letztes Update von maximumcompression.com ist Juni 2011 (Antwort aktualisiert im Okt. 2015)
Daher wird diese Website nicht erwähnt
der aktuelle Weltmeister-Textkompressor :

      cmix

Wettbewerbe/Benchmarks:

  • enwiki6
    18,2 % Komprimierung der 1 MB-Textdatei enwik6
  • Calgary
    17,6 % Komprimierung der 14 Dateien des Calgary-Korpus (3 GB tar-Datei)
  • Hutter-Preis
    15,7 % Komprimierung der 100-MB-Textdatei enwik8
    (aber cmix ist nicht der Gewinner, weil zu viel RAM benötigt wird, mehr als 20 GB)
  • Silesia Open Source Compression Benchmark
    15,7 % Komprimierung des 202 MB Silesia-Korpus
  • Benchmark für die Komprimierung von großem Text
    12,4 % Komprimierung der 1 GB-Textdatei enwik9

Details:
Byron Knoll entwickelt aktiv cmix als freie Software (GPL) seit 2013 basierend auf dem Buch Data Compression Explained von Matt Mahoney. Matt Mahoney pflegt auch einige der oben genannten Benchmarks und schlägt ZPAQ (WP) vor, einen inkrementellen Archivierer für die Befehlszeile.

Wenn Sie ein Standard-Tool bevorzugen (das weniger RAM benötigt), empfehle ich:

      lrzip

lrzip ist eine Weiterentwicklung von rzip von Con Kolivas.
lrzip steht für zwei Namen:Long Range PLZ und Lzma RZIP .
lrzip ist oft besser als xz (ein weiteres beliebtes Komprimierungstool).
Alexander Riccio empfiehlt auch lrzip .

Mein Favorit ist:

      zpaq

Der "Archivierungsexperte" , Matt Mahoney, arbeitet seit zehn Jahren intensiv an PAQ-Algorithmen und bietet den besten Kompromiss zwischen CPU-/Speicherressourcen und Komprimierungsstufe.

Allerdings die letzte zpaq Version ist nicht oft in neueren Distributionen gepackt/verfügbar :-(
Ich kompiliere es immer aus Quellen, wenn ich eine neue Maschine habe und einen sehr guten Kompressor brauche:https://github.com/zpaq/zpaq

clone https://github.com/zpaq/zpaq
cd zpaq
g++ -O3 -march=native -Dunix zpaq.cpp libzpaq.cpp -pthread -o zpaq

Normalerweise hat bz2 ein besseres Komprimierungsverhältnis, kombiniert mit besseren Wiederherstellungsfunktionen.

OTOH, gz ist schneller.

xz soll sogar besser sein als bz2, aber ich kenne das Zeitverhalten nicht.


Vielleicht könnten Sie sich diese Benchmarks ansehen, insbesondere den Teil, der die Komprimierung der Protokolldateien testet.


Linux
  1. Verwenden Sie Anacron für eine bessere Crontab

  2. So verbinden Sie zwei Textdateien unter Linux

  3. Vollständiges Handbuch zur Verwendung von AsciiDoc unter Linux

  4. Linux vs. Windows:Welches Betriebssystem ist besser für PC-Spiele?

  5. Welche Dateikomprimierungssoftware für Linux bietet die höchste Größenreduzierung?

Komprimieren und Archivieren von Dateien und Verzeichnissen

Sparen Sie Platz, indem Sie Dateien und Ordner unter Linux komprimieren

Finden Sie Text in Dateien unter Linux mit grep

Dropbox für einen Linux Cloud Server eingerichtet

Ubuntu vs. Arch:Welche Linux-Distribution ist besser?

Textterminal-Hardware (für Linux)