Ich habe ein Verzeichnis mit Millionen XML-Dateien.
Ich möchte mehrere ZIP-Dateien mit n XML-Dateien erstellen. Zum Beispiel:Wenn n =10000, dann möchte ich 100 Zip-Dateien erstellen, d. h. jede Zip-Datei hat nur 10000 XML-Dateien.
Wie lassen sich diese ZIP-Dateien am effizientesten erstellen? Ich möchte nicht, dass dieser Vorgang mehr Zeit in Anspruch nimmt, da ich diesen Vorgang für mehrere Ordner mit Millionen von XML-Dateien wiederholen muss.
Akzeptierte Antwort:
Dies kann nützlich sein:
$ zip all.zip *.xml ## create a big archive.
Ermitteln Sie die Gesamtgröße des Archivs:
$ ls -lh all.zip
Teilen Sie nun das große Archiv nach Bedarf in kleine Archive auf:
$ split -b 5M all.zip ## creates 5 MB zips
Hinweis:Das Extrahieren der Archive funktioniert nicht, es sei denn, Sie verbinden sie wieder:
cat x* > oldbigzip.