Не удается получить доступ к HDFS через Java API (Cloudera-CDH4.4.0)

1) Вам не нужно conf.addResource, если вы не переопределяете какие-либо переменные конфигурации.

2) Надеюсь, вы создаете файл JAR и запускаете файл JAR в командном окне, а не в eclipse. Если вы выполняете в eclipse, он будет выполняться в локальной файловой системе.

3) Я запустил код ниже, и это сработало.

public class Hmkdirs {
public static void main(String[] args) 
        throws IOException 
        { 
Configuration conf = new Configuration();  
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory1"));
System.out.println(success);
        }

}

4) Для выполнения вам нужно создать файл jar, вы можете сделать это либо из eclipse, либо из командной строки и выполнить файл jar.

Пример файла jar командной строки:

javac -classpath /usr/local/hadoop/hadoop-core-1.2.1.jar:/usr/local/hadoop/lib/commons-cli-1.2.jar -d классы WordCount.java && jar -cvf WordCount.jar - С классы/ .

выполнение файла jar через hadoop в командной строке.

hadoop jar hadoopfile.jar hadoop.sample.fileaccess.hmkdirs

hadoop.sample.fileaccess — это пакет, в котором существуют Hmkdirs моего класса. Если ваш класс существует в пакете по умолчанию, вам не нужно указывать его, просто класс в порядке.

Обновление: вы можете выполнить из eclipse и по-прежнему получать доступ к hdfs, проверьте код ниже.

public class HmkdirsFromEclipse {

public static void main(String[] args) 

        throws IOException 
        { 
Configuration conf = new Configuration();  
conf.addResource("/etc/hadoop/conf/core-site.xml");
conf.addResource("/etc/hadoop/conf/hdfs-site.xml");
conf.set("fs.defaultFS", "hdfs://quickstart.cloudera:8020/");
conf.set("hadoop.job.ugi", "cloudera");
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
FileSystem fs = FileSystem.get(conf); 
boolean success = fs.mkdirs(new Path("/user/cloudera/testdirectory9"));
System.out.println(success);
        }

}

Попробуй это:

conf.set("fs.defaultFS", "file:///"); conf.set("mapreduce.framework.name", "local");

Это действительно непростая часть конфигурации, но это, по сути, то, что вам нужно сделать:

    Configuration conf = new Configuration();
    conf.addResource("/etc/hadoop/conf/core-site.xml");
    conf.addResource("/etc/hadoop/conf/hdfs-site.xml");
    conf.set("fs.defaultFS", hdfs://[your namenode]);
    conf.set("hadoop.job.ugi", [your user]
    conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());

убедитесь, что у вас есть hadoop-hdfs в пути к классам.