Wget ist ein erstaunliches Befehlszeilenprogramm, das zum Scrapen von Webseiten, zum Herunterladen von Videos und Inhalten von passwortgeschützten Websites, zum Abrufen einer einzelnen Webseite, von MP3-Dateien usw. verwendet werden kann. Es funktioniert auch unter langsamen Netzwerkbedingungen und verfügt über eine Pausenfunktion Es wird automatisch an der Stelle fortgesetzt, an der es verlassen wurde.
In diesem Beitrag beschreibe ich anhand einiger nützlicher Beispiele, wie Sie den Befehl wget wie ein Profi verwenden können.
1. Wget, um eine einzelne Datei herunterzuladen
$ wget http://myexample.com/s.tar.gz
2. Laden Sie eine HTML-Seite herunter und speichern Sie sie unter einem anderen Namen
$ wget -o page.html http://example.com/somepageurl
# Save it in different directory
$ wget --directory-prefix='./home/user/' johndoe.com
3. Laden Sie mehrere Dateien mit unterschiedlichen Protokollen herunter
$ wget http://example.com/myfile.tar.gz ftp://42.11.23.4/file.jpg
4. Bandbreitenrate einer Datei begrenzen
$ wget --limit-rate=20k http://example.com/myfile.zip
5. Laden Sie eine Webseite mit allen Inhalten herunter
$ wget --page-requisites --convert-links --adjust-extension http://example.com/mywebpage
6. Fortsetzen einer aktuell heruntergeladenen Datei an der Stelle, an der sie verlassen wurde
$ wget -c http://example.com/myfile.rar
7. Alle URLs aus der Textdatei herunterladen
$ wget ‐‐input long-list-of-urls.md
8. Spiegeln Sie ganze Websites (all ihre Seiten und Assets)
$ wget --mirror --no-parent --continue http://example.com
9. Laden Sie bestimmte Dateitypen von der Website herunter
# will download all the mp3 files
$ wget --level=2 --recursive --accept mp3 http://example.com
# will download all jpeg files
$ wget ‐‐level=1 ‐‐recursive ‐‐no-parent ‐‐accept jpg,JPG http://example.com/
10. Laden Sie Dateien von passwortgeschützten Websites herunter
wget ‐‐http-user=johndoe ‐‐http-password=somepass http://example.com/secretpath/file.tar.gz