Вопросы по теме 'snappy'

UnsatisfiedLinkError при отправке сжатого (мгновенного) сообщения в kafka
В своем веб-приложении на Java я отправляю сообщения на адрес kafka . Я хотел бы сжать свои сообщения перед их отправкой, поэтому я устанавливаю в свойствах производителя: props.put ("сжатие.кодек", "2"); Насколько я понимаю, «2» означает...
3938 просмотров
schedule 10.07.2023

Snappy & wkhtmltopdf: нумерация страниц в нижнем колонтитуле
Я хотел бы иметь номер страницы в нижнем колонтитуле каждой страницы, созданной с помощью Snappy и Wkhtmltopdf, но я не нашел никаких подсказок об этом. Я могу установить текст нижнего колонтитула (с параметрами «нижний колонтитул»), но как указать...
19408 просмотров
schedule 19.07.2023

Не удается установить snappy для hadoop
Я следую инструкциям по установке snappy отсюда https://code.google.com/p/hadoop-snappy/ . Однако я не могу выполнить шаг 3. Я настроил, сделал, sudo make install и snappy лежит в правильном dict в /usr/local. Итак, следующим шагом будет установка...
868 просмотров
schedule 09.04.2023

Лучший разделитель для безопасного анализа массивов байтов из потока
У меня есть поток байтов, который возвращает последовательность массивов байтов, каждый из которых представляет одну запись. Я хотел бы разобрать поток в список отдельных байтов []. В настоящее время я взломал трехбайтовый разделитель, чтобы я мог...
5397 просмотров
schedule 02.02.2023

Почему я получаю отрицательное сжатие для Gzip, Snappy, Smile?
Я пытался выяснить, какое сжатие подходит для моего приложения для сжатия строки JSON. Целью здесь является сжатие объекта JSON перед сохранением в REDIS. Вот мои результаты Пробная версия сжатия Gzip compression percent : -8.7719345 % to json...
974 просмотров
schedule 17.07.2023

Spark SQL - разница между форматами сжатия gzip, snappy и lzo
Я пытаюсь использовать Spark SQL для записи файла parquet . По умолчанию Spark SQL поддерживает gzip , но также поддерживает и другие форматы сжатия, такие как snappy и lzo . В чем разница между этими форматами сжатия?
32644 просмотров
schedule 12.04.2023

Как поместить файл в HDFS со сжатием Snappy
Я работаю на клиента, где я должен поместить некоторые файлы в HDFS с сжатием Snappy. Моя проблема в том, что кодек snappy не определен в mapred-site.xml или hdfs-site.xml Каким-то образом мне приходится помещать файлы, желательно с помощью...
4735 просмотров
schedule 24.06.2022

Ошибка: не удалось инициализировать класс org.xerial.snappy.Snappy.
Я импортирую данные из RDBMS в hdfs, используя sqoop 1.4.6, используя snappyCodec в качестве сжатия и avro в качестве формата файла. У меня установлены следующие компоненты: Hadoop 2.8.0 Spark 2.1.0 Hive 1.2.2 Scala 2.11.8 Cassandra 3.10 >...
4862 просмотров
schedule 02.07.2023

Отображение изображения в файле PDF, сгенерированном snappy
Я хочу добавить изображение в свой PDF-файл, созданный snappy, но ничего не появляется В моей ветке: Я сохраняю имя файла в своей базе данных, Survey.event.image содержит имя изображения <div style="margin-top: 26px; width: 200px">...
2662 просмотров
schedule 01.09.2022

Как настроить Executor в локальном режиме Spark
Короче говоря Я хочу настроить свое приложение для использования сжатия lz4 вместо мгновенного, что я сделал: session = SparkSession.builder() .master(SPARK_MASTER) //local[1] .appName(SPARK_APP_NAME)...
2311 просмотров
schedule 16.06.2023

Snappy Compression не работает из-за превилиджей папки tmp
У меня возникает проблема всякий раз, когда я пытаюсь сохранить свои данные в сжатом формате с помощью pig, Sqoop или Spark. Я знаю, что проблема заключается в монтировании нашей папки tmp в nonexec, и это приводит, например, к тому, что snappy...
1282 просмотров
schedule 07.01.2023

Проблема с установкой python-snappy
Я пытаюсь установить python-snappy в экземпляре Amazon Linux EC2, но продолжаю получать следующую ошибку. Есть идеи, как решить эту проблему: sudo python3.6 -m pip install python-snappy Collecting python-snappy Using cached...
1470 просмотров
schedule 20.04.2023