socket.gaierror при попытке запустить emr с помощью python mrjob

В настоящее время я пытаюсь изучить mrjob и как реализовать его в AWS EMR, поэтому, пожалуйста, простите меня, если я задаю уже заданный вопрос [искал во многих местах, но не нашел ответа], и извините, если это глупый вопрос.

Это мой скрипт на питоне:

from mrjob.job import MRJob

class MRWordFrequencyCount(MRJob):

    def mapper(self, _, line):
        yield "chars", len(line)
        yield "words", len(line.split())
        yield "lines", 1

    def reducer(self, key, values):
        yield key, sum(values)


if __name__ == '__main__':
    MRWordFrequencyCount.run()

Когда я запускаю его в локальном режиме, я получаю результат

команда:

Python sample.py input.txt

Поэтому я попытался запустить это в EMR

создав файл mrjob.conf

который выглядит так:

runners:
  emr:
    aws_access_key_id: 
    aws_secret_access_key: 
    aws_region: us-west-2a
    ec2_key_pair: emr
    ec2_key_pair_file: ~/Desktop/emr.pem
    ec2_instance_type: m1.small
    num_ec2_instances: 5

  local:
    base_tmp_dir: /tmp

Первая попытка

Попытка его локально в моей системе Windows

python check.py -r emr --conf-path ./mrjob.conf  word.txt

Примечание :

Та же ошибка возникла, когда я сохранил ввод в местоположении s3 и передал его в качестве аргумента.

Я получил эту трассировку:

Traceback (most recent call last):
  File "check.py", line 16, in <module>
    MRWordFrequencyCount.run()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\job.py", line 461, in run
    mr_job.execute()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\job.py", line 479, in execute
    super(MRJob, self).execute()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\launch.py", line 153, in execute
    self.run_job()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\launch.py", line 215, in run_job
    with self.make_runner() as runner:
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\job.py", line 502, in make_runner
    return super(MRJob, self).make_runner()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\launch.py", line 168, in make_runner
    return EMRJobRunner(**self.emr_job_runner_kwargs())
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\emr.py", line 643, in __init__
    self._fix_s3_scratch_and_log_uri_opts()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\emr.py", line 760, in _fix_s3_scratch_and_log_uri_opts
    self._set_s3_scratch_uri(s3_conn)
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\emr.py", line 776, in _set_s3_scratch_uri
    buckets = s3_conn.get_all_buckets()
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\mrjob\retry.py", line 149, in call_and_maybe_retry
    return f(*args, **kwargs)
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\boto\s3\connection.py", line 436, in get_all_buckets
    response = self.make_request('GET', headers=headers)
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\boto\s3\connection.py", line 664, in make_request
    retry_handler=retry_handler
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\boto\connection.py", line 1070, in make_request
    retry_handler=retry_handler)
  File "C:\Users\MOB140003207\AppData\Local\Enthought\Canopy32\User\lib\site-pac
kages\boto\connection.py", line 1029, in _mexe
    raise ex
socket.gaierror: [Errno 11004] getaddrinfo failed

Когда я попытался запустить его в экземпляре aws EC2

я получил эту ошибку

 Traceback (most recent call last):
  File "check.py", line 16, in <module>
    MRWordFrequencyCount.run()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/job.py", line 461, in run
    mr_job.execute()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/job.py", line 479, in execute
    super(MRJob, self).execute()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/launch.py", line 153, in execute
    self.run_job()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/launch.py", line 215, in run_job
    with self.make_runner() as runner:
  File "/usr/local/lib/python2.7/dist-packages/mrjob/job.py", line 502, in make_runner
    return super(MRJob, self).make_runner()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/launch.py", line 168, in make_runner
    return EMRJobRunner(**self.emr_job_runner_kwargs())
  File "/usr/local/lib/python2.7/dist-packages/mrjob/emr.py", line 643, in __init__
    self._fix_s3_scratch_and_log_uri_opts()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/emr.py", line 760, in _fix_s3_scratch_and_log_uri_opts
    self._set_s3_scratch_uri(s3_conn)
  File "/usr/local/lib/python2.7/dist-packages/mrjob/emr.py", line 776, in _set_s3_scratch_uri
    buckets = s3_conn.get_all_buckets()
  File "/usr/local/lib/python2.7/dist-packages/mrjob/retry.py", line 149, in call_and_maybe_retry
    return f(*args, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/boto/s3/connection.py", line 436, in get_all_buckets
    response = self.make_request('GET', headers=headers)
  File "/usr/local/lib/python2.7/dist-packages/boto/s3/connection.py", line 664, in make_request
    retry_handler=retry_handler
  File "/usr/local/lib/python2.7/dist-packages/boto/connection.py", line 1071, in make_request
    retry_handler=retry_handler)
  File "/usr/local/lib/python2.7/dist-packages/boto/connection.py", line 1030, in _mexe
    raise ex
socket.gaierror: [Errno -2] Name or service not known

Я не знаю, что я делаю неправильно

версия python 2.7 версия mrjob «0.4.5»


person The6thSense    schedule 23.09.2015    source источник


Ответы (1)


После нескольких часов поиска и расследования я нашел проблему

Это было в этой строке

aws_region: us-west-2a

Где, как это должно было быть

aws_region: us-west-2

Я просто хочу сохранить вопрос, так как это может сэкономить время другим людям.

person The6thSense    schedule 23.09.2015