Der Wget-Befehl ist eines der am häufigsten verwendeten und praktischsten Tools zum Herunterladen von Dateien, Paketen und Verzeichnissen vom Webserver in Linux- und Unix-ähnlichen Betriebssystemen. Normalerweise können Sie alle großen oder kleinen Dateien über das wget-Tool herunterladen; Das wget begrenzt die Dateigröße nicht. Ursprünglich wurde der Wget-Befehl auf die Kombination der Begriffe World Wide Web und Get abgekürzt. Dieses praktische Tool wurde unter dem GNU-Projekt entwickelt.
Es kann auf FTP, HTTP, HTTPS und andere lokale Server zugreifen, um Dateien unter Linux herunterzuladen. Auch bei richtiger Konfiguration kann der Befehl wget auf Firewall-geschützte Server zugreifen. Da wir über das wget sprechen werden, verwenden wir für Diversität oft den Begriff „World Wide Web and Get“ anstelle von wget.
Wget-Befehle unter Linux
Mit dem Standard-TCP-Protokoll kann der Befehl wget auf Dateien im Dateisystem unter Linux zugreifen, diese herunterladen und speichern. Dieses handliche, leichte und dennoch leistungsstarke Tool ist in der Programmiersprache C geschrieben, die zum Daten-Crawling problemlos zwischen dem Server und dem Hostcomputer kommunizieren kann. Es unterstützt Download-Geschwindigkeitsbegrenzung, Pause, Fortsetzen, Caching, SSL und vieles mehr, wonach Sie wahrscheinlich in einem Download-Programm suchen.
In diesem Beitrag werden wir sehen, wie Sie den wget-Befehl auf Linux-Distributionen installieren, und die Beispiele der am häufigsten verwendeten wget-Befehle, die Sie kennen müssen, um Ihre Linux-Erfahrung zu verbessern.
Wget-Befehl unter Linux installieren
Normalerweise ist der Befehl „World Wide Web and Get“ bei allen wichtigen Linux-Distributionen vorinstalliert. Wenn Sie jedoch Probleme beim Ausführen des wget-Befehls feststellen, führen Sie bitte die folgenden Paketinstallationsbefehle auf Ihrer Shell aus, um das wget-Tool unter Linux zu installieren. Bitte führen Sie den richtigen Befehl auf der Terminal-Shell entsprechend Ihrer Distribution aus.
Installieren Sie wget unter Ubuntu/Debian Linux
$ sudo apt install wget
Holen Sie sich „World Wide Web and Get“ auf Fedora/Red Hat Linux
$ sudo dnf install wget $ sudo yum install wget
Installieren Sie das Wget-Tool unter SuSE Linux
$ zypper install wget
Holen Sie sich das „World Wide Web and Get“-Tool auf Arch Linux
$ sudo pacman -S wget
Sobald Sie das wget-Tool auf Ihrem System installiert haben, können Sie nun die wget-Syntax durchgehen, die ich unten angegeben habe, um eine Vorstellung davon zu bekommen, wie der wget-Befehl unter Linux funktioniert.
wget url wget [options] URL
1. Laden Sie eine einzelne Datei mit wget herunter
Da wir die Installation und Syntax des Wget-Befehls bereits durchgegangen sind, können wir jetzt direkt in einen wget-Befehl springen, um zu erfahren, wie er tatsächlich funktioniert. Mit dem folgenden Befehl können Sie eine einzelne Datei herunterladen und in Ihrem Dateisystem speichern.
$ wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.15.5.tar.xz
2. Datei mit anderem Namen und Verzeichnis herunterladen
Um eine Datei oder ein Paket im Linux-System unter einem anderen Namen als dem ursprünglichen zu speichern, führen Sie bitte den folgenden wget-Befehl auf der Shell aus. Hier ist der Teil mit file=file.tzx der Abschnitt, in dem Sie die Datei während des Downloads umbenennen.
$ wget --output-document=file=file.tzx 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz' $ wget -O /tmp/file.tzx \ 'https://domain/foo-bar-xyz-long-file.tzx?key=xyz'
3. Verzeichnispräfix festlegen
Da wir den Befehl „World Wide Web and Get“ zum mühelosen Herunterladen verwenden, können wir auch unsere Arbeit nach dem Download reduzieren, indem wir den Präfix-Speicherort für Dateien und Pakete auf dem Linux-System festlegen. Bitte sehen Sie sich die unten aufgeführten Befehle an, um zu erfahren, wie Sie das Präfixverzeichnis mit dem Befehl wget festlegen.
wget -P /tmp/ url wget -P /ubuntupit/ https://ur1/freebsd.iso wget -P /ubuntupit/ https://ur2/opnbsd.iso
4. Hinzufügen von Notizen zu einer Datei
Wenn Sie eine Nachricht in die herunterzuladende Datei einfügen müssen, führen Sie bitte den folgenden Befehl „World Wide Web and Get“ aus.
$ wget --output-file=log.txt https://url1/.. $ wget -o download.log.txt https://url2/..
Sie können jetzt die Nachricht mit dem unten erwähnten cat-Befehl sehen.
cat download.log more download.log
Mit dem Befehl wget können Benutzer Nachrichten anhängen, während sie die Datei zur späteren Bezugnahme vom Server herunterladen. Obwohl wir bereits eine Möglichkeit zum Senden von Nachrichten gesehen haben, hilft der unten erwähnte wget-Befehl auch, wenn der vorherige für Sie nicht funktioniert.
wget -o /root/wget-log.txt https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # cat /root/wget-log.txt
5. Mehrere Dateien herunterladen
Wenn Sie nach dem Befehl suchen, mehr als eine Datei gleichzeitig über den Befehl „World Wide Web and Get“ herunterzuladen, folgen Sie bitte dem unten angegebenen Befehlsmuster.
$ wget http://www.ubuntupit.com/download/lsst.tar.gz ftp://ftp.freebsd.org/pub/sys.tar.gz ftp://ftp.redhat.com/pub/xyz-1rc-i386.rpm
6. URLs aus einer Datei lesen
Das Lesen von Dateien aus einer Datei bezieht sich darauf, herauszufinden, was sich tatsächlich in der Datei befindet. Bitte fügen Sie die URL in eine Textdatei ein und folgen Sie dann dem Vim-Befehl und dem Befehl „World Wide Web and Get“, um die Dateien zu lesen.
$ vi /tmp/download.txt $ wget -i /tmp/download.txt
7. Downloads fortsetzen
Beendet versehentlich den Download oder Netzwerkfehler; alles ist erforderlich, um den Download fortzusetzen. Sie können die folgenden wget-Befehle verwenden, um die Downloads fortzusetzen.
$ wget -c http://www.ubuntupit.com/download/lsst.tar.gz $ wget -c -i /tmp/download.txt
8. wget zum Herunterladen erzwingen
Wenn Sie Probleme beim Herstellen einer Verbindung zu einem Server oder einer Web-URL haben, führen Sie bitte einen Force-Befehl aus, um die Site über den Befehl wget zu verbinden. Sowohl wget als auch nohup Befehlen können Sie die Verbindung der Web-URL erzwingen.
$ wget -cb -o /tmp/download.log -i /tmp/download.txt $ nohup wget -c -o /tmp/download.log -i /tmp/download.txt &
9. Begrenzen Sie die Download-Geschwindigkeit
Für das Herunterladen mehrerer Dateien oder Pakete über den Befehl „World Wide Web and Get“ über eine eingeschränkte Internetverbindung müssen Sie möglicherweise die Download-Geschwindigkeit begrenzen. Bitte führen Sie den folgenden Befehl aus, um die Download-Geschwindigkeit zu begrenzen.
$ wget -c -o /tmp/susedvd.log --limit-rate=50k ftp://ftp.novell.com/pub/suse/dvd1.iso
10. Dateien von passwortgeschützten Websites abrufen
Wir haben bereits gesehen, wie Benutzeranmeldeinformationen in einem wget-Befehl verwendet werden. Dieser Befehl beschreibt auch, wie Sie direkt eine passwortgeschützte Datei im Web abrufen können. Beide der unten genannten Methoden sind nützlich und praktisch, um Dateien schnell von einer passwortgeschützten Website herunterzuladen.
$ wget --http-user=vivek --http-password=Secrete http://ubuntupit.com/jahid/csits.tar.gz
Eine andere Möglichkeit, eine Datei mit einer passwortgeschützten Website herunterzuladen, besteht darin, die Anmeldeinformationen in den Befehl aufzunehmen.
$ wget 'http://username:[email protected]_server/file.tar.gz $ ps aux
11. Laden Sie Mp3 und Pdf herunter
Wenn Sie beabsichtigen, einen bestimmten Dateityp herunterzuladen, z. B. MP3- oder PDF-Dokumente, können Sie den folgenden Befehl ausführen, der unten angegeben ist. Hier wird der Befehl für FTP gezeigt, aber er funktioniert auch für alle anderen öffentlichen Domains.
$ wget ftp://somedom-url/pub/downloads/*.pdf $ wget ftp://somedom-url/pub/downloads/*.pdf
12. Holen Sie sich die Datei über den Wget-Befehl in die Standardausgabe
Mit dem folgenden Befehl „World Wide Web and Get“ können Sie das Standardausgabeformat wie Dateipfad, Dateityp, benötigte Zeit, Bandbreitenverbrauch usw. in der Terminal-Shell sehen.
$ wget -q -O - 'https://url1/file.tar.xz' | tar -Jxzf - -C /tmp/data/
13. Erstellen Sie einen Spiegel einer Site mit dem Wget-Befehl
Um einen Duplikatspiegel einer Website zu erstellen, können Sie die folgenden „World Wide Web and Get“-Befehle verwenden. Beide -m und --mirror Syntaxen die gleiche Aufgabe erfüllen, können Sie einen der folgenden Befehle zum Spiegeln einer Site auswählen.
$ wget -m https://url/ $ wget --mirror https://url/
14. Finden Sie HTTPS (TLS)-Fehler
Wenn Sie ein professioneller Webentwickler sind, der mit SSL-Zertifizierungen arbeitet, ist dieser Befehl „World Wide Web and Get“ sehr hilfreich, um einen Bericht für Ihren TLS-Bericht mit Fehlern und Berichten zu erstellen.
$ wget --no-check-certificate \ https://www.ubuntupit.com/robots.txt
15. Aktivieren Sie Zeitstempel für den Wget-Befehl
Um die Zeitstempel auf Ihrer Download-Ausgabe zu drucken, können Sie den folgenden Befehl „World Wide Web and Get“ auf Ihrer Terminal-Shell ausführen. Dieser Befehl teilt Ihnen die Serverzeit mit, wenn Sie die Datei laden.
wget --no-use-server-timestamps https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
16. Fortschrittsbalken ändern
Wenn Sie mit der traditionellen Download-Statusleiste, die Linux beim Herunterladen einer Datei oder eines Pakets in der Shell anzeigt, nicht zufrieden sind, können Sie den folgenden wget-Befehl verwenden, um die Fortschrittsleiste zu ändern.
wget --progress=dot https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
17. Teilweises Herunterladen im Wget-Befehl aktivieren
Um einen teilweisen Download von einem Webserver durchzuführen, können Sie den folgenden wget-Befehl ausführen. Sobald Sie den teilweisen Download abgeschlossen haben, können Sie das Ziel ändern und den Download fortsetzen.
# wget -c https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
18. Wiederholen Sie den fehlgeschlagenen Download im Wget-Befehl
Die folgenden Befehle zeigen, wie Sie die Wiederholung eines fehlgeschlagenen Downloads auf einer Linux-Shell mit dem Befehl wget erzwingen können. Normalerweise können Netzwerkfehler, Server-Timeout und andere netzwerkbasierte Fehler mit diesem Befehl behoben werden.
# wget -t 10 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
19. Von URL-Dateiliste herunterladen
Wenn Sie eine Reihe von Dateien über den Befehl wget mit einem einzigen Befehl herunterladen müssen, können Sie die Webadressen in einer Textdatei aufschreiben. Verwenden Sie dann diese Textdatei mit dem Befehl wget, um sie aus einer Liste herunterzuladen. Auf diese Weise sparen Sie Zeit und Ärger beim Herunterladen mehrerer Dateien.
# cat to-download.txt # wget -i to-download.txt
20. Zeitverzögerung nach fehlgeschlagenem Download erstellen
Da wir bereits besprochen haben, wie man den Download erzwingt und den Download über den Befehl wget wiederholt, können wir ein Zeitintervall festlegen, bevor der Befehl den nächsten Treffer auf dem Server ausführt. Die folgenden Befehle zeigen, wie Sie eine Zeitspanne von 10 Sekunden einstellen können, nachdem der Download fehlgeschlagen ist.
# time wget -w 10 -i to-download.txt
21. Nicht interaktiver Download
In einer Linux-Shell können Sie den wget-Befehl im Daemon-Stil so einstellen, dass der Befehl im Systemhintergrund ausgeführt wird. Bitte führen Sie den folgenden Befehl aus, um zu verstehen, wie der Befehl wget nicht interaktiv ausgeführt wird.
wget -b https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/CentOS-7-x86_64-NetInstall-1511.iso
22. Ausgabe im Wget-Befehl ausblenden
Um eine Datei oder ein Paket über den Befehl „World Wide Web and Get“ herunterzuladen, ohne die Ausgabe in der Terminal-Shell anzuzeigen, können Sie den folgenden Befehl verwenden. Mit diesem Befehl können Sie den Download-Befehl eingeben, dann wird der Download stillschweigend beendet und Sie werden benachrichtigt, wenn der Download beendet ist.
wget -q https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
23. Debug-Informationen im Wget-Befehl
Dieser praktische Befehl „World Wide Web and Get“ ist für Entwickler hilfreich. Mit diesem Befehl können Sie Debugging-Informationen einer Datei finden. Der folgende Befehl sendet Ihnen auch die wichtigsten Informationen, die Sie möglicherweise benötigen.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # wget -nv https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
24. Serverantwort anzeigen
Wenn Sie ein Serveradministrator sind, ist dieser Befehl sehr hilfreich für Sie. Sie können jetzt einen einfachen „World Wide Web and Get“-Befehl verwenden, um die Antwortzeit einer Website oder eines Servers zu überprüfen. Dies ist eigentlich nicht dasselbe wie der Ping-Befehl; Hier erhalten wir die tatsächliche Antwortzeit des Servers, nicht die Zeit, die der Client benötigt, um den Server über das Internet zu erreichen.
wget -S https://www.ubuntupit.com/
25. Legen Sie das Timeout im Wget-Befehl fest
Ein Zeitüberschreitungsproblem beim Aufrufen einer Website oder beim Herunterladen einer Datei ist kein seltenes Problem. Unter Linux versucht der Befehl wget normalerweise weiterhin, eine Verbindung zur URL herzustellen, wenn ein Zeitüberschreitungsproblem auftritt. Um ein umstrittenes Aufrufen der URL zu vermeiden, können Sie den folgenden wget-Befehl ausführen, um den Download nach einem bestimmten Versuch automatisch abzubrechen.
# wget -T 30 https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
26. Anmeldedaten verwenden
Wenn Ihre Download-URL mit einem Benutzernamen und einem Passwort geschützt ist, führen Sie bitte den folgenden Befehl aus, um die Benutzeranmeldeinformationen für den Download über den Befehl wget bereitzustellen.
# wget --user=username --ask-password http://localhost/file.txt
27. Nicht zwischengespeicherte Datei herunterladen
Wir alle wissen, wie hilfreich es ist, zwischengespeicherte Dateien auf einem lokalen Computer abzurufen. Der folgende wget-Befehl hilft Ihnen jedoch dabei, eine nicht zwischengespeicherte Datei aus dem Internet herunterzuladen.
# wget -d https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt # wget -d --no-cache https://mirror.aarnet.edu.au/pub/centos/7/isos/x86_64/md5sum.txt
28. Laden Sie eine vollständige Website herunter
Da der Befehl wget ein mächtiger Befehl ist, können Sie damit auch die gesamte Website herunterladen und in Ihrem lokalen Verzeichnis speichern. Führen Sie den folgenden Befehl aus, um die vollständige Site herunterzuladen.
$ wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
29. Verlassen Sie bestimmte Dateitypen mit dem Wget-Befehl
Beim Herunterladen von Dateien über den Befehl wget müssen Sie aus Sicherheitsgründen möglicherweise einen bestimmten Dateityp überspringen oder vermeiden. Der folgende Befehl zeigt, wie Sie die GIF-Dateien beim Herunterladen über den Befehl wget ablehnen können.
$ wget --reject=gif WEBSITE-TO-BE-DOWNLOADED $ wget -o download.log DOWNLOAD-URL
30. Download nach bestimmter Größe abbrechen
Manchmal müssen wir Dateien mit einer bestimmten Dateigrößenbeschränkung herunterladen. Um eine Begrenzung der Dateigröße festzulegen, hat wget eine dedizierte Syntax, die Sie unten sehen können. Beispielsweise stoppt der unten bereitgestellte wget-Befehl den Download, nachdem die Dateigröße 5 MB erreicht hat.
$ wget -Q5m -i FILE-WHICH-HAS-URLS
31. Nur Herunterladen Spezifische Dateitypen
Um einen bestimmten Dateityp aus einer Reihe von Dateien auf einem Server oder einer Website herunterzuladen, können Sie den folgenden wget-Befehl ausführen, der unten angegeben ist. Der folgende Befehl lädt beispielsweise nur die PDF-Dateien herunter, die wir über den Befehl zugewiesen haben.
$ wget -r -A.pdf http://url-to-webpage-with-pdfs/
32. FTP-Download mit Wget-Befehl
Nicht nur über HTTPS, HTTP oder öffentliche Server können Sie mit dem Befehl „World Wide Web and Get“ auch Dateien von einem lokalen FTP-Server abrufen, der in Ihrem lokalen Netzwerk gehostet wird.
$ wget ftp-url
Wenn ein Benutzername und ein Passwort für die Anmeldung beim FTP-Server festgelegt sind, befolgen Sie bitte den unten angegebenen Befehl.
$ wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
33. Erhöhen Sie die Wiederholungsversuche im Wget-Befehl
Wenn Ihr Download aufgrund eines Netzwerkproblems oder eines Serverfehlers oder einer zu langen Verzögerung bei der Kommunikation mit dem Server fehlschlägt, können Sie die Verzögerungszeit erhöhen und die Wiederholungsversuche mit dem unten angegebenen wget-Befehl erhöhen.
$ wget --tries=75 https://download.opensuse.org/distribution/leap/15.3/iso/openSUSE-Leap-15.3-DVD-x86_64-Current.iso
34. Laden Sie die tar-Datei mit dem Wget-Befehl herunter und extrahieren Sie sie
Manchmal müssen wir möglicherweise eine komprimierte Datei herunterladen und die Datei in das Verzeichnis extrahieren. Um diese Aufgabe mühelos zu erledigen, können Sie den folgenden Befehl auf Ihrem Linux-System verwenden.
# wget -q -O - http://wordpress.org/latest.tar.gz | tar -xzf - --strip-components=1 -C /var/www/html
35. Hilfe und Handbuch
Alle oben genannten „World Wide Web and Get“-Befehle sind nicht die einzigen Befehle, die Sie für immer brauchen werden. Sie können diesen Befehl mehr entdecken. Wenn Sie sich für den wget-Befehl interessieren, lesen Sie bitte das wget-Handbuch und die Hilfeseiten.
$ man wget $ wget --help
Endwörter
Das Herunterladen über den Befehl „World Wide Web and Get“ unter Linux macht wirklich Spaß. Aber es ist kein traditioneller Downloader für Linux. Am häufigsten wird dieser Befehl zum Herunterladen komprimierter Paketdateien, Tools und anderer softwarebezogener Dateien über die Terminal-Shell unter Linux verwendet. Der gesamte Beitrag bestand aus einer Reihe von wget-Befehlen, die Ihnen helfen könnten, ein Power-Linux-Benutzer zu werden.
Bitte teilen Sie ihn mit Ihren Freunden und der Linux-Community, wenn Sie diesen Beitrag nützlich und informativ finden. Sie können auch Ihre Meinung zu diesem Beitrag in den Kommentarbereich schreiben.