Чтобы ускорить загрузку jar на s3, я хочу скопировать все мои обычные jar во что-то вроде «$ HADOOP_HOME/lib» в обычном хаупе. Могу ли я создать собственный экземпляр EMR hadoop с предустановленными этими библиотеками. Или есть более простой способ?
Как я могу поделиться библиотеками jar с amazon elastic mapreduce?
Ответы (1)
Вы можете сделать это как действие начальной загрузки. Это так же просто, как разместить скрипт для копирования в S3, а затем, если вы запускаете EMR из командной строки, добавьте такой параметр:
--bootstrap-action 's3://my-bucket/boostrap.sh'
Или, если вы делаете это через веб-интерфейс, просто введите местоположение в соответствующее поле.
person
Joe K
schedule
28.08.2012
