Вопросы по теме 'kryo'
Библиотека сериализации Kryo: используется ли она в производстве?
Kryo - это очень новая и интересная библиотека сериализации Java, одна из самых быстрых в эталонный тест thrift-protobuf . Если вы использовали Kryo, достигло ли оно достаточной зрелости, чтобы опробовать его в производственном коде?...
33849 просмотров
schedule
05.05.2022
Scala pickling: простой настраиваемый сборщик для моего собственного класса?
Я пытаюсь собрать некоторые относительно простые структурированные, но большие и медленные для создания классы в моем приложении Scala NLP (обработка естественного языка). Поскольку данных много, их нужно рассолить и esp. распить быстро и без...
531 просмотров
schedule
15.04.2024
Чтение из Spark RDD файла Kryo
Я новичок в Spark и Scala.
Мне нужно прочитать и проанализировать файл в Spark, который он написал в моем коде scala с сериализацией Kryo:
import com.esotericsoftware.kryo.Kryo
import com.esotericsoftware.kryo.io.Output
val kryo:Kryo = new...
3514 просмотров
schedule
20.05.2023
Сериализировать объект с помощью крио в базе данных Titan
Я бы сериализовал базовый объект в базе данных Titan. Но не работает. Я хочу сериализовать свой объект, чтобы зарегистрировать его в моей базе данных титанов. Но я не понимаю, почему существует эта проблема. Я публикую свой исходный код, и если у...
886 просмотров
schedule
28.01.2023
Ошибка сборки / теста Gradle - kryo.KryoException: переполнение буфера
При запуске сборки Gradle тесты не выполняются.
PS: 1. Gradle использует правильный JDK (1.6) для сборки. 2. Я попробовал это с JDK 1.7, и там появляется та же ошибка. 3. Я не вижу этой ошибки при локальной сборке (с JDK 1.6) на машине с...
1455 просмотров
schedule
18.04.2023
Как сериализовать мультикарты с помощью Kryo?
Проблема
Я пытаюсь сериализовать LinkedHashMultimap с использованием библиотеки сериализации Kryo , но после десериализации я получаю NullPointerException . Минимальный рабочий пример приведен ниже:
import...
958 просмотров
schedule
20.09.2022
Java, Kryo: добавление полей в класс сохраняется как FieldSerializer
Это использует библиотеку сериализации Kryo.
У меня есть объекты, уже сериализованные в БД с помощью FieldSerializer . Теперь я хотел бы добавить пару полей в сериализованные классы и получить с ними обратную совместимость.
Это возможно? Как...
1814 просмотров
schedule
03.11.2022
Apache Storm 0.93, Titan 0.5.4, Kryo 2.21 против 2.22
Я использую шторм 0.93 с титаном 0.5.4. Titan работает на той же виртуальной машине, что и мое приложение, и взаимодействует с внешней базой данных cassandra.
Когда я развертываю свою топологию для штурма, один из болтов использует API титана для...
119 просмотров
schedule
24.05.2022
Плагин Maven Shade с Kryo 3.0: ClassNotFoundException
Я новичок в Maven и хочу обновить проект с Kryo 2.22 до 3.0.1. В проекте у меня есть следующая зависимость.
<dependency>
<groupId>com.esotericsoftware.kryo</groupId>
<artifactId>kryo</artifactId>...
487 просмотров
schedule
27.07.2022
Крио из памяти
Независимо от того, что я пробовал, я получаю этот OOME с помощью Spark 1.3.1 при использовании сериализатора Kryo (у меня нет никаких проблем, если я использую Java по умолчанию)
15/06/25 20:16:37 WARN TaskSetManager: Lost task 47.0 in stage 1.0...
1353 просмотров
schedule
10.03.2023
Требовать сериализацию крио в Spark (Scala)
У меня крио-сериализация включена вот так:
conf.set( "spark.serializer", "org.apache.spark.serializer.KryoSerializer" )
Я хочу убедиться, что пользовательский класс сериализуется с использованием kryo при перетасовке между узлами. Я могу...
23590 просмотров
schedule
17.10.2022
Kryonet - двойные входящие пакеты
Хорошо. Я получаю пакет один раз, но его блок срабатывает дважды. Например:
У меня есть такой блок:
if (object instanceof InitTheGame) {
System.out.println("STARTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT");...
61 просмотров
schedule
16.06.2023
Как отправить сериализованные объекты Kryo через JMS?
Я хотел бы использовать Kryo для (де-)сериализации объектов и отправки/получения их через JMS.
У меня проблема в том, что обе стороны, отправитель и получатель, должны зарегистрировать классы с одним и тем же идентификатором.
У Kryo есть метод...
495 просмотров
schedule
29.05.2022
Вы получаете выгоду от сериализатора Kryo при использовании Pyspark?
Я читал, что сериализатор Kryo может обеспечить более быструю сериализацию при использовании в Apache Spark. Однако я использую Spark через Python.
Получу ли я заметные преимущества от перехода на сериализатор Kryo?
6226 просмотров
schedule
26.08.2022
Сериализация quickfix.Message с Kryo
Я пытаюсь сериализовать экземпляр quickfix.Message , используя сериализацию крио.
Я использую крио версии 3.0.3.
Фрагмент кода выглядит следующим образом:
Message fixMessage = getFixMessage();
Kryo kryo = new Kryo();...
805 просмотров
schedule
23.06.2022
Переопределить кодер AvroIO по умолчанию в потоке данных
Я пытаюсь использовать собственный кодер для обработки данных в потоке данных. Я сделал следующее:
Экспорт данных из BigQuery в файлы avro
Автоматически сгенерировал класс из схемы в этих файлах с помощью avro-tools-1.7.7.jar.
Написал...
368 просмотров
schedule
03.06.2023
Как я могу кэшировать DataFrame с помощью Kryo Serializer в Spark?
Я пытаюсь использовать Spark с Kryo Serializer для хранения некоторых данных с меньшими затратами памяти. И теперь я столкнулся с проблемой, я не могу сохранить DataFram e (тип которого Dataset[Row]) в памяти с помощью сериализатора Kryo. Я думал,...
898 просмотров
schedule
24.09.2022
Как зарегистрировать Receiver[] в Kryo?
В процессе переноса приложения Spark 1.6 на Spark 2.0.2 в журнале появилась следующая жалоба:
com.esotericsoftware.kryo.KryoException: java.lang.IllegalArgumentException: Class is not registered: org.apache.spark.streaming.receiver.Receiver[]...
596 просмотров
schedule
08.06.2024
Как можно исправить жалобу Kryo в Spark 2.0.2 на объект 13994?
В процессе переноса приложения Spark 1.6 на Spark 2.0.2 в журнале появилась следующая жалоба:
com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: 13994
Иногда это происходит после запуска пары партий, а не с первого...
172 просмотров
schedule
10.08.2022
Hazelcast с глобальным сериализатором (Kryo) - для типа не существует подходящего десериализатора.
Я использую Hazelcast 3.9 для кластеризации пользовательских сеансов.
Чтобы сериализовать объекты сеанса, я создал глобальный сериализатор, реализованный с помощью Kryo (или, точнее, KryoReflectionFactorySupport, который позволяет сериализовать...
2023 просмотров
schedule
23.04.2022
