Я использую искру со scala для анализа временных рядов. Я пишу одни и те же сценарии в искровой оболочке каждый раз, когда закрываю и открываю. Я хотел бы, чтобы мне предложили, как сохранить мои скрипты из spark-shell и использовать их позже.
Нужно ли загружать scala IDE, сохранять его и запускать файл в spark-shell?
Спасибо.
Запишите свой скрипт в файл, например script.scala
Затем вы можете запустить:
spark-shell -i script.scala
Это запустит искровую оболочку и выполнит ваш скрипт.
Если вы хотите оставить оболочку в конце скрипта, добавьте System.exit(0) в ваш скрипт.
Если ваш код прост, самый простой способ — сохранить код в виде текстового файла и вставить его в спарк-оболочку, когда вам это нужно.
Если нет, вам лучше скачать scala IDE (рекомендуется IDEA), написать приложение spark и запустить его с помощью spark-submit.
