Соединитель Couchbase/hadoop: задание sqoop FAILED Найден интерфейс org.apache.hadoop.mapreduce.TaskAttemptContext, но ожидался класс

Моя конфигурация:

  • CouchBase-сервер 2.0
  • Sqoop 1.4.2 (скомпилировать для версии Hadoop 2.0.0)
  • Стек Hadoop CDH4.1.2

Я хочу использовать коннектор CouchBase/Hadoop (http://www.couchbase.com/develop/connectors/hadoop), но при запуске импорта возникает следующая ошибка:

sqoop-import --connect http://localhost:8091/pools --table DUMP
13/01/07 11:00:34 INFO tool.CodeGenTool: Beginning code generation
13/01/07 11:00:34 INFO orm.CompilationManager: HADOOP_HOME is /usr/lib/hadoop
Note: /tmp/sqoop-agent/compile/fccb413cf9eec92f9a716320cf268a0a/DUMP.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
13/01/07 11:00:42 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-agent/compile/fccb413cf9eec92f9a716320cf268a0a/DUMP.jar
13/01/07 11:00:42 INFO mapreduce.ImportJobBase: Beginning import of DUMP
13/01/07 11:00:45 WARN util.Jars: No such class couchbase doesn't use a jdbc driver available.
13/01/07 11:00:50 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
2013-01-07 11:00:55.065 INFO net.spy.memcached.MemcachedConnection:  Added {QA sa=/127.0.0.1:11210, #Rops=0, #Wops=0, #iq=0, topRop=null, topWop=null, toWrite=0, interested=0} to connect queue
2013-01-07 11:00:55.098 INFO net.spy.memcached.MemcachedConnection:  Connection state changed for sun.nio.ch.SelectionKeyImpl@41e22632
2013-01-07 11:00:56.266 INFO net.spy.memcached.MemcachedConnection:  Shut down memcached client
13/01/07 11:02:39 INFO mapred.JobClient: Running job: job_201212111702_0131
13/01/07 11:02:40 INFO mapred.JobClient:  map 0% reduce 0%
13/01/07 11:02:59 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000001_0,     Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:02 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000002_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:02 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000000_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:09 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000003_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:12 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000001_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:13 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000002_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:20 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000000_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:24 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000003_1, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:24 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000001_2, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:30 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000002_2, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:33 INFO mapred.JobClient: Task Id : attempt_201212111702_0131_m_000000_2, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
13/01/07 11:03:39 INFO mapred.JobClient: Job complete: job_201212111702_0131
13/01/07 11:03:40 INFO mapred.JobClient: Counters: 7
13/01/07 11:03:40 INFO mapred.JobClient:   Job Counters 
13/01/07 11:03:40 INFO mapred.JobClient:     Failed map tasks=1
13/01/07 11:03:40 INFO mapred.JobClient:     Launched map tasks=14
13/01/07 11:03:40 INFO mapred.JobClient:     Rack-local map tasks=14
13/01/07 11:03:40 INFO mapred.JobClient:     Total time spent by all maps in occupied slots (ms)=74621
13/01/07 11:03:40 INFO mapred.JobClient:     Total time spent by all reduces in occupied slots (ms)=0
13/01/07 11:03:40 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/01/07 11:03:40 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/01/07 11:03:40 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 174.4617 seconds (0 bytes/sec)
13/01/07 11:03:40 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead
13/01/07 11:03:40 INFO mapreduce.ImportJobBase: Retrieved 0 records.
13/01/07 11:03:40 ERROR tool.ImportTool: Error during import: Import job failed!

Кто-нибудь использовал этот разъем с такой же конфигурацией и удалось заставить его работать?

Спасибо за вашу помощь!

Мадлен


hadoop sqoop couchbase
person mpiffaretti    schedule 08.01.2013    source источник
comment
Я знаю, что это не дает вам решения, но я помню, что в прошлом году провел много времени с этим именно этим коннектором, но не смог заставить его работать. Насколько я помню, он использует sqoop, а sqoop имеет довольно много параметров командной строки, которые вам нужно правильно настроить. Я помню, как смотрел код sqoop (github.com/apache/sqoop), и он помог мне понять что пытался сделать соединитель Couchbase.   -  person ryan1234    schedule 08.01.2013

Ответы (2)


arrow_upward
3
arrow_downward

Hadoop прошел через огромный рефакторинг кода от Hadoop 1.0 до Hadoop 2.0 (соответственно с CDH3 до CDH4). Одним из побочных эффектов является то, что код, скомпилированный для Hadoop 1.0 (CDH3), несовместим с Hadoop 2.0 (CDH4) и наоборот. Однако исходный код совместим, и поэтому нужно просто перекомпилировать код с целевым дистрибутивом Hadoop.

Исключение «Найден интерфейс X, но ожидался класс» очень распространено, когда вы запускаете код, скомпилированный для Hadoop 1.0 (CDH3) на Hadoop 2.0 (CDH4) или наоборот.

Точно такое же ограничение применяется к соединителям. Нет явной информации, для какой версии Hadoop был скомпилирован коннектор CouchBase, поэтому я предполагаю, что он был против Hadoop 1.0 и, следовательно, не работает с Hadoop 2.0 (CDH4).

person Jarek Jarcec Cecho    schedule 09.01.2013
comment
Спасибо! Я нашел исходники на Github, и там есть файл свойств ivy. где указаны версии каждой библиотеки. Итак, теперь я попытаюсь изменить версию каждой соответствующей библиотеки и скомпилировать коннектор! - person mpiffaretti; 09.01.2013

arrow_upward
0
arrow_downward

Это было исправлено в версии CDH4.2.

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Release-Notes/cdh4ki_topic_2_9.html

person Jeff Miller    schedule 20.04.2015