GNU/Linux >> LINUX-Kenntnisse >  >> Linux

So leiten Sie die gesamte Ausgabe von spark-submit in eine Datei um

spark-submit druckt den größten Teil seiner Ausgabe auf STDERR

Um die gesamte Ausgabe in eine Datei umzuleiten, können Sie Folgendes verwenden:

spark-submit something.py > results.txt 2>&1

Oder 

spark-submit something.py &> results.txt

Wenn Sie Spark-Submit auf einem Cluster ausführen, werden die Protokolle mit der Anwendungs-ID gespeichert. Sie können die Protokolle sehen, sobald die Anwendung abgeschlossen ist.

yarn logs --applicationId <your applicationId> > myfile.txt

Sollte Ihnen das Protokoll Ihres Jobs holen

Die applicationId Ihres Jobs wird angegeben, wenn Sie den Spark-Job übermitteln. Sie können dies in der Konsole, in der Sie einreichen, oder in der Hadoop-Benutzeroberfläche sehen.


Linux

  1. So leiten Sie die Ausgabe in eine Datei und Stdout in Linux um

  2. Ausgabe umleiten und leiten?

  3. Wie hängt man die Ausgabe an eine Datei an?

  4. Wie überprüfe ich, ob eine Datei in Bash leer ist?

  5. Wie leitet man die Ausgabe von system() in eine Datei um?

So leiten Sie stderr in Bash auf stdout um

So leiten Sie die Shell-Befehlsausgabe um

So leiten Sie die Ausgabe eines bereits laufenden Prozesses um

Alle Ausgaben mit Bash unter Linux in eine Datei umleiten?

So leiten Sie die Ausgabe des systemd-Dienstes in eine Datei um

Wie kann die Ausgabe eines Befehls in eine Datei umgeleitet werden, wenn der Befehl Benutzereingaben auffordert?