Привет! У меня есть кластер Hadoop, и я подумываю написать свой собственный Mapper и Reducer в R, а затем использовать Hadoop Streaming для анализа временных рядов.
Однако мне интересно, каков «общий» способ установки любого программного обеспечения в кластере.
Может существовать какая-то магия, например:
sudo hadoop install R? # Pseudo code
Спасибо!
На самом деле я остановился на Linux, чтобы автоматизировать эту установку.
#!/usr/bin/expect -f
if {[llength $argv] != 1} {
puts "usage: ssh.exp server"
exit 1
}
set server [lrange $argv 0 0]
set timeout 60
spawn ssh -i key.pem ec2-user@$server
expect "*connecting (yes/no)*"
send -- "yes\r"
expect "*~]$*"
send -- "sudo su -c 'rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'\r"
send -- "nohup sudo su -c 'yum install -y R R-core R-core-devel R-devel' &\r"
expect "*~]$*"
send -- "exit\r"
interact
Автоматизируйте процесс установки в кластере с помощью таких инструментов автоматизации, как Puppet и Шеф-повар.
Кроме того, вокруг R есть несколько оболочек, например, из Revolution Analytics и Rhipe, чтобы упростить написание MR-программ на R.
