Ich bin auf dasselbe Problem gestoßen und die einfachste Lösung besteht darin, $SPARK_HOME festzulegen bis /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ stattdessen.
Sie können auch direkt aus der Quelle bauen und Sie finden die Anweisungen hier.
Im Grunde einfach tun
git clone https://github.com/apache/spark/`
cd spark
git checkout origin/branch-X.Y
build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
Sie müssen den $SPARK_HOME festlegen in das Verzeichnis der obersten Ebene des Spark-Quellcodes.
Ein Ticket auf der Projektseite hat geholfen:
unset SPARK_HOME && spark-submit
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967