Как настроить Spark с кластером MemSql с одним узлом?

У меня есть кластер MemSql с одним узлом:

  • Оперативная память: 16 ГБ
  • Ядро: 4
  • Убунту 14.04

У меня есть Spark, развернутый на этом Memsql для целей ETL.

Я не могу настроить искру на Memsql.

  1. Как установить политику ротации для рабочего каталога Spark: /var/lib/memsql-ops/data/spark/install/work/

  2. Как я могу изменить путь?

  3. Насколько большим должно быть значение spark.executor.memory, чтобы избежать OutOfMemoryExceptions?

Как установить различные параметры конфигурации для Spark, развернутого в кластере Memsql?


apache-spark singlestore
person Ravi Prakash    schedule 28.01.2016    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Надеемся, что следующее решит вашу проблему:

  1. См. spark.worker.cleanup.enabled и соответствующие параметры конфигурации: https://spark.apache.org/docs/1.5.1/spark-standalone.html
  2. Конфиг можно изменить в /var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf. после изменения конфигурации необходимо перезапустить искровой кластер с помощью memsql-ops spark-component-stop --all, а затем memsql-ops spark-component-start --all
person Carl Sverre    schedule 28.01.2016
comment
Установка этих параметров не помогла, я добавил больше параметров spark.worker.cleanup.interval 1800 spark.worker.cleanup.appDataTtl 14400 Проверим, поможет ли это - person Ravi Prakash; 31.01.2016
comment
Дайте мне знать, если эти дополнительные настройки помогут. Вы пытались установить большее значение памяти исполнителя в файлах конфигурации, которые я упомянул? Это должно решить ваши проблемы с памятью. - person Carl Sverre; 02.02.2016