Я попробовал команду ниже, чтобы скопировать данные FTP в HDFS, hadoop distcp ftp://ftp.ncdc.noaa.gov/pub/data/noaa/1901/ data/noaa/1901/ Вот какую ошибку я получил 15/03/04 11:29:13 INFO tools.DistCp: Input Options:...

Когда я запускаю distcp для перемещения данных из s3 в мои локальные hdfs, я получаю это исключение во время задания уменьшения карты, запущенного для копирования данных: Error: Could not find or load main class...

Я знаю, что distcp не может использовать подстановочные знаки. Однако мне нужно будет планировать distcp при смене каталогов. (т. е. копировать только данные из каталога «пятница» в понедельник и т. д.), но также и из всех проектов в указанном...

Я хотел бы использовать distcp для копирования списка файлов (> 1K файлов) в hdfs. Я уже сохранил список файлов в локальном каталоге, теперь я могу использовать -f для копирования всех файлов? если да, то какой формат я должен поддерживать в моем...

У меня есть задание sqoop, которое будет записывать данные в ведро s3. Если я запускаю это задание из командной строки, оно шифрует файлы s3. Но если я использую тот же файл jar для запуска задания sqoop с использованием рабочего процесса oozie,...

У меня есть огромное количество файлов S3, которые я хочу поместить в HDFS. Учитывая количество задействованных файлов, я предпочитаю использовать «распределенную копию». Однако по какой-то причине я не могу заставить hadoop distcp использовать мои...

Я настроил HDFS Connector для хранилища объектов, как описано здесь: https://docs.us-phoenix-1.oraclecloud.com/Content/API/SDKDocs/hdfsconnector.htm#troubleshooting Когда я запускаю distcp со следующей командой: hadoop distcp -libjars...

У меня есть файл размером 1 Гб в локальной файловой системе /tmp/dist_testfle Я могу скопировать это: hadoop fs -put file:///tmp/dist_testfile maprfs:/// Но не может расшифровать его. Команда hadoop distcp file:///tmp/dist_testfile...