Я работаю над своим выпускным проектом, тема, которую мы пытаемся достичь, — поиск изображений в Hadoop. Мы используем библиотеку OpenCV для обработки изображений. Пока у нас есть работающий прототип, но эффективность не соответствует нашим ожиданиям.
Теперь мы хотим убедиться, что наше задание карты правильно назначено подчиненному узлу, на котором расположены данные (т. е. мы хотим, чтобы задание, назначенное этому узлу, обрабатывало только фрагменты на конкретном узле). И в моем понимании это означает, что мне нужно знать местонахождение каждого фрагмента моих данных и некоторую другую информацию о фрагменте (например, какой фрагмент назначен какому подчиненному узлу ... и т. д.). Я нашел некоторую информацию об интерфейсе администрирования Http (тот, который использует порт 50030 от по умолчанию) Но этого недостаточно, и сбор нужной мне информации занимает много времени. Итак, есть ли способ увидеть такую информацию? Любые файлы журналов или API?
И если нас не устраивает способ, которым планировщик Hadoop назначает наши задачи, есть ли способ повлиять на то, как назначается каждый отдельный фрагмент? Или как Hadoop разделяет входные данные? Я знаю, что вручную выполнять всю работу, изначально выполненную планировщиком, будет кошмаром, но я хочу оставить это как последнее средство.
Короче говоря,
- Могу ли я получить какую-либо информацию об уровне блоков через журналы/API от Hadoop? Например, количество чанков, расположение этих чанков и т. д., информации о Http-интерфейсе для jobtracker недостаточно.
- Есть ли способ помешать назначению заданий, назначению фрагментов и тому, как Hadoop разделяет входные данные?
Заранее спасибо.
