Ich möchte den vollständigen HTML-Quellcode eines X herunterladen Webseite, kräuselt jedoch den X-Link gibt einen Teil des HTML-Quellcodes zurück, da diese Webseite Scrollen erfordert um weitere Inhalte zu sehen. Es scheint, dass curl nicht über „scroll down“ hinausgeht.
Bisher kann ich das nur manuell tun:
1) Gehen Sie zur gewünschten Website
2) Führen Sie den folgenden Befehl in der Browserkonsole aus, um automatisch zu scrollen (alle Objekte zu laden):
var scroll =setInterval(function(){ window.scrollBy(0,1000); }, 2000);
3) Kopieren Sie den vollständigen HTML-Quellcode aus dem Prüfelement
Die Frage ist also, wie ich curl ausführen kann Befehl, damit der gesamte Webseiteninhalt geschabt wird (scrollt, bis alle Objekte geladen sind), bevor er am Terminal ausgegeben wird, um das gleiche Ergebnis wie die oben genannten Schritte zu erzielen? Wenn nicht mit curl , vielleicht wget ?
Akzeptierte Antwort:
curl ist kein vollwertiger Browser und unterstützt meines Wissens kein Ausführen von JavaScript. Es verwendet HTTP/FTP, um Dateien abzurufen; das ist alles. Wenn Sie Funktionen testen möchten, die von Skripten oder anderen Tools abhängen, die eine bloße HTTP-Anfrage nicht berühren kann, müssen Sie sich eine eingehendere Testsuite wie Selenium ansehen.