Количество картографов в Hadoop

Допустим, у меня есть 100 файлов размером 100 МБ каждый, а размер блока - 64 МБ.

1) Сколько картографов требуется для обработки всех этих 100 файлов.

2) Как мы знаем, максимальный предел для размера разделения входных данных - это размер блока. В нашем случае это будет 64 МБ. Итак, если картограф начинает обрабатывать входной раздел файла, то есть 64 МБ, как он будет обрабатывать оставшиеся 36 МБ. Этот маппер отвечает за обработку оставшихся 36 МБ или он будет обрабатываться каким-нибудь другим маппером?


person mohamed    schedule 24.04.2014    source источник


Ответы (1)


Поскольку размер вашего блока составляет 64 Мб, всего будет создано 200 мапперов.

Один и тот же файл будет обрабатываться двумя мапперами, так как его входные разбиения расположены в разных местах, один маппер обработает первые 64 Мбайта, а другой маппер обработает оставшиеся 36 Мбайт.

person SachinJ    schedule 24.04.2014