Вопросы по теме 'snappy'
UnsatisfiedLinkError при отправке сжатого (мгновенного) сообщения в kafka
В своем веб-приложении на Java я отправляю сообщения на адрес kafka .
Я хотел бы сжать свои сообщения перед их отправкой, поэтому я устанавливаю в свойствах производителя:
props.put ("сжатие.кодек", "2");
Насколько я понимаю, «2» означает...
3938 просмотров
schedule
10.07.2023
Snappy & wkhtmltopdf: нумерация страниц в нижнем колонтитуле
Я хотел бы иметь номер страницы в нижнем колонтитуле каждой страницы, созданной с помощью Snappy и Wkhtmltopdf, но я не нашел никаких подсказок об этом.
Я могу установить текст нижнего колонтитула (с параметрами «нижний колонтитул»), но как указать...
19408 просмотров
schedule
19.07.2023
Не удается установить snappy для hadoop
Я следую инструкциям по установке snappy отсюда https://code.google.com/p/hadoop-snappy/ . Однако я не могу выполнить шаг 3. Я настроил, сделал, sudo make install и snappy лежит в правильном dict в /usr/local. Итак, следующим шагом будет установка...
868 просмотров
schedule
09.04.2023
Лучший разделитель для безопасного анализа массивов байтов из потока
У меня есть поток байтов, который возвращает последовательность массивов байтов, каждый из которых представляет одну запись.
Я хотел бы разобрать поток в список отдельных байтов []. В настоящее время я взломал трехбайтовый разделитель, чтобы я мог...
5397 просмотров
schedule
02.02.2023
Почему я получаю отрицательное сжатие для Gzip, Snappy, Smile?
Я пытался выяснить, какое сжатие подходит для моего приложения для сжатия строки JSON. Целью здесь является сжатие объекта JSON перед сохранением в REDIS.
Вот мои результаты
Пробная версия сжатия Gzip
compression percent : -8.7719345 %
to json...
974 просмотров
schedule
17.07.2023
Spark SQL - разница между форматами сжатия gzip, snappy и lzo
Я пытаюсь использовать Spark SQL для записи файла parquet .
По умолчанию Spark SQL поддерживает gzip , но также поддерживает и другие форматы сжатия, такие как snappy и lzo .
В чем разница между этими форматами сжатия?
32644 просмотров
schedule
12.04.2023
Как поместить файл в HDFS со сжатием Snappy
Я работаю на клиента, где я должен поместить некоторые файлы в HDFS с сжатием Snappy. Моя проблема в том, что кодек snappy не определен в mapred-site.xml или hdfs-site.xml
Каким-то образом мне приходится помещать файлы, желательно с помощью...
4735 просмотров
schedule
24.06.2022
Ошибка: не удалось инициализировать класс org.xerial.snappy.Snappy.
Я импортирую данные из RDBMS в hdfs, используя sqoop 1.4.6, используя snappyCodec в качестве сжатия и avro в качестве формата файла. У меня установлены следующие компоненты: Hadoop 2.8.0 Spark 2.1.0 Hive 1.2.2 Scala 2.11.8 Cassandra 3.10 >...
4862 просмотров
schedule
02.07.2023
Отображение изображения в файле PDF, сгенерированном snappy
Я хочу добавить изображение в свой PDF-файл, созданный snappy, но ничего не появляется
В моей ветке:
Я сохраняю имя файла в своей базе данных, Survey.event.image содержит имя изображения
<div style="margin-top: 26px; width: 200px">...
2662 просмотров
schedule
01.09.2022
Как настроить Executor в локальном режиме Spark
Короче говоря
Я хочу настроить свое приложение для использования сжатия lz4 вместо мгновенного, что я сделал:
session = SparkSession.builder()
.master(SPARK_MASTER) //local[1]
.appName(SPARK_APP_NAME)...
2311 просмотров
schedule
16.06.2023
Snappy Compression не работает из-за превилиджей папки tmp
У меня возникает проблема всякий раз, когда я пытаюсь сохранить свои данные в сжатом формате с помощью pig, Sqoop или Spark. Я знаю, что проблема заключается в монтировании нашей папки tmp в nonexec, и это приводит, например, к тому, что snappy...
1282 просмотров
schedule
07.01.2023
Проблема с установкой python-snappy
Я пытаюсь установить python-snappy в экземпляре Amazon Linux EC2, но продолжаю получать следующую ошибку. Есть идеи, как решить эту проблему:
sudo python3.6 -m pip install python-snappy
Collecting python-snappy
Using cached...
1470 просмотров
schedule
20.04.2023