Ошибка Accumulo-Pig. Информация о соединителе для AccumuloInputFormat может быть установлена ​​только один раз для каждого задания.

Версии:
Accumulo 1.5
Pig 0.10

Попытка:
Чтение/запись данных в/в Accumulo из Pig с использованием accumulo-pig.
Обнаружена ошибка. Любое понимание того, как обойти эту ошибку, приветствуется.
Переключение Переход на Accumulo 1.4 невозможен, так как мы используем Accumulo Thrift Proxy в нашей кодовой базе C#.

Воздействие.
В настоящее время это препятствие для нашего проекта.

Ссылка на источник:
Исходный код — https://git-wip-us.apache.org/repos/asf/accumulo-pig.git

Ошибка:
При попытке прочитать набор данных в Accumulo из Pig я получаю следующую ошибку:

org.apache.pig.backend.executionengine.ExecException: ОШИБКА 2118: информация о соединителе для AccumuloInputFormat может быть установлена ​​только один раз для каждого задания

Фрагмент кода:

DATA = LOAD 'accumulo://departments?instance=indra&user=root&password=xxxxxxx&zookeepers=cdh-dn01:2181' using org.apache.accumulo.pig.AccumuloStorage() AS (row, cf, cq, cv, ts, val);
dump DATA;

accumulo apache-pig
person Indra    schedule 17.12.2013    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Попробуйте использовать ветку ACCUMULO-1783-1.5 из того же репозитория. То, как Pig настраивает InputFormat, не очень хорошо сочетается с тем, как Accumulo настраивает InputFormat (в частности, Accumulo делает забавное утверждение, что вы никогда не вызываете один и тот же статический метод более одного для конфигурации).

Я использовал свинью 0.12 - я сомневаюсь, что есть разница в том, как 0.10 настраивает InputFormats по сравнению с 0.12, но я не уверен, что YMMV.

Я только что отправил исправление в вышеуказанную ветку, которое избавляет от ранее упомянутого ограничения версии Hadoop.

person elserj    schedule 30.12.2013
comment
Спасибо! Увидел ваш ответ по ссылке ниже на прошлой неделе и получил рабочую версию. почта -archives.apache.org/mod_mbox/accumulo-user/201312.mbox/ - person Indra; 31.12.2013
comment
Большой! Дайте мне (нам) знать, как вы продвигаетесь вперед. Рад помочь. - person elserj; 31.12.2013