Насколько мне известно, на один сплит будет выделен один маппер.
Но что произойдет, если я установлю размер разделения больше, чем фактический размер блока?
Например: если я укажу размер блока = 128 МБ и размер разделения = 130 МБ, в этом случае сколько картографов будет запущено. Это один маппер или более одного маппера?
Если InputSplit превышает размер блока HDFS, сопоставитель в конечном итоге считывает данные из нескольких блоков.
В вашем примере, если размер блока = 128 МБ и расчетный размер разделения = 130 МБ, будет создана одна задача сопоставления, которая будет считывать данные из двух разных блоков.
То, как именно читаются эти два блока, определяется уровнем HDFS.
Можно установить размер разделения больше, чем размер блока. Но в этом случае для получения одного сплит-маппера необходимо прочитать несколько блоков из hdfs, что может вызвать передачу по сети, т.к. блок n и блок n+1 могут находиться не в одном датаноде.
В вашем примере, если вы установите splitsize=130 МБ и ваши входные данные представляют собой один файл размером 130 МБ, тогда у вас будет 1 маппер.
