Вопросы по теме 'sequencefile'

Mahout: преобразование одного большого текстового файла в формат SequenceFile
Я много искал в Интернете для этого, но ничего не нашел, хотя мне кажется, что это должно быть несколько распространенным явлением. В прошлом я использовал команду seqdirectory Mahout для преобразования папки, содержащей текстовые файлы (каждый файл...
4158 просмотров
schedule 04.01.2023

Экспорт файла последовательности в Oracle с помощью Sqoop
Я пытался найти документацию о том, как мы можем экспортировать файл последовательности в Oracle с помощью Sqoop. Это возможно? В настоящее время у меня есть файлы (в HDFS) в текстовом формате, и я использую Sqoop для экспорта этих файлов в...
1369 просмотров
schedule 18.07.2022

Поможет ли файл последовательности повысить производительность чтения в HDFS по сравнению с локальной файловой системой?
Я хочу сравнить производительность для HDFS и локальной файловой системы для 1000 небольших файлов (1-2 МБ). Без использования файлов последовательности HDFS требуется почти вдвое больше времени для чтения 1000 файлов по сравнению с локальной...
431 просмотров

Hadoop SequenceFile — ключ автоинкремента для записей
Я думаю использовать SequenceFile как «небольшую базу данных» для хранения небольших файлов. Мне нужно, чтобы concurrency-клиент мог хранить небольшой файл в этом SequenceFile и извлекать уникальный идентификатор (ключ записи). Это возможно? Я...
76 просмотров
schedule 20.05.2023

Файл последовательности, импортированный sqoop в HDFS, не читается в Hive
Я импортировал таблицу из MySql в HDFS, используя параметр --as-sequencefile. Затем я создал таблицу Hive с предложением STORED AS SEQUENCEFILE и предложением LOCATION, которое указывает на местоположение HDFS, где присутствуют импортированные файлы...
715 просмотров
schedule 05.09.2022

Могу ли я создать файл последовательности в Spark?
В настоящее время у нас есть реализация в pig для создания файлов последовательности из записей, где некоторые атрибуты записи обрабатываются как ключ файла последовательности, и все записи, соответствующие этому ключу, хранятся в одном файле...
4500 просмотров