Исключение HBase Bulk Load MapReduce HFile (netty jar)

Я пытаюсь запустить простой процесс MapReduce для записи HFiles для последующего импорта в таблицу HBase.

Когда работа отправлена:

hbase com.pcoa.Driver /test /bulk pcoa

Я получаю следующее исключение, указывающее, что netty-3.6.6.Final.jar не существует в HDFS (однако он существует здесь).

    -rw-r--r--+ 1 mbeening flprod 1206119 Sep 18 18:25 /dedge1/hadoop/hbase-0.96.1.1-hadoop2/lib/netty-3.6.6.Final.jar

Боюсь, я не понимаю, как устранить эту (?) ошибку конфигурации.

Может ли кто-нибудь дать мне какой-либо совет?

Вот исключение:

    Exception in thread "main" java.io.FileNotFoundException: File does not exist:     hdfs://localhost/dedge1/hadoop/hbase-0.96.1.1-hadoop2/lib/netty-3.6.6.Final.jar
    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1110)
    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1102)
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
    at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1102)
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:93)
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)
    at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:264)
    at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)
    at com.pcoa.Driver.main(Driver.java:63)

Вот моя процедура водителя:

public class Driver {

public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();
    Job job = new Job(conf, "HBase Bulk Import");

    job.setJarByClass(HBaseKVMapper.class);
    job.setMapperClass(HBaseKVMapper.class);
    job.setMapOutputKeyClass(ImmutableBytesWritable.class);
    job.setMapOutputValueClass(KeyValue.class);

    job.setInputFormatClass(TextInputFormat.class);

    HTable hTable = new HTable(conf, args[2]);
    HFileOutputFormat.configureIncrementalLoad(job, hTable);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);
}
}

hadoop netty hbase filenotfoundexception hfile
person user3042401    schedule 09.01.2014    source источник
comment
ПРИМЕЧАНИЕ. Я использую hadoop 2.2.0, hbase 0.96.1.1, zookeeper 3.4.5.   -  person user3042401    schedule 10.01.2014
comment
Есть ли какая-либо другая информация, которую я мог бы предоставить, которая помогла бы мне понять, в чем проблема. Принципиально не понимаю, почему процесс ищет эту банку в системе HDFS?   -  person user3042401    schedule 13.01.2014
comment
процессы, которые не используют эти процессы записи HFile, похоже, работают нормально в моем кластере, но вставки одной записи для моей нагрузки не будут работать. Любая помощь, которая может быть оказана, искренне приветствуется. Благодарность!   -  person user3042401    schedule 13.01.2014

Ответы (1)


arrow_upward
0
arrow_downward

Я не уверен, почему/если мне пришлось это сделать (нигде не видел ничего подобного ни в одной из документов по запуску)

но я запустил один из них:

hdfs dfs -put /hadoop/hbase-0.96.1.1-hadoop2/lib/*.jar /hadoop/hbase-0.96.1.1-hadoop2/lib

И... моя работа MR, похоже, теперь работает

Если это неправильный курс - пожалуйста, дайте мне знать, спасибо!

person user3042401    schedule 14.01.2014