Мне нужно найти, где Samza на YARN размещает свои государственные магазины KV. Я подозреваю, что он находится в локальном каталоге приложений YARN, как и все приложения YARN, но я считаю, что его можно настроить, поскольку я сделал это несколько месяцев назад (сопоставил папку с памятью) в другой среде, но сейчас не помню.
Чтобы это было возможно, мне нужно иметь возможность отделять хранилища samza KV от данных других приложений YARN других приложений.
Вот решение. Это было напечатано в выводе журнала заданий Samza:
[ПРЕДУПРЕЖДЕНИЕ] Для базового каталога хранилища журналов не было предоставлено переопределения. Это отключает повторное использование локального состояния при перезапуске приложения. Если вы хотите включить эту функцию, установите LOGGED_STORE_BASE_DIR в качестве переменной среды на всех машинах, на которых работает контейнер Samza.
LOGGED_STORE_BASE_DIR можно установить как часть запуска NodeManager. Например:
# Typical environment setup.
export JAVA_HOME=...
export YARN_CONF_DIR=...
export YARN_LOG_DIR=...
export HADOOP_LOG_DIR=...
export YARN_MASTER=...
export YARN_PID_DIR=...
export YARN_IDENT_STRING=...
export YARN_NICENESS=...
export YARN_OPTS="-XX:+UseG1GC -XX:ErrorFile=logs/hs_err.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -XX:ErrorFile=logs/hs_err.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution -Xloggc:logs/gc.log"
# Location of samza-kv stores for host affinity (should be on an SSD).
export LOGGED_STORE_BASE_DIR="/mnt/myssd/samza/logged-stores"
# Startup the Yarn NodeManager
./yarn-daemon.sh" --config "$YARN_CONF_DIR" nodemanager
Путь к магазину можно настроить только в том случае, если в магазине включен журнал изменений.
Расположение магазина контролируется переменной окружения LOGGED_STORE_BASE_DIR.
Более подробная информация представлена здесь: http://samza.apache.org/learn/documentation/0.11/yarn/yarn-host-affinity.html
