Могу ли я уменьшить объем моей кэш-памяти?

Я новичок в GridGain, и у меня проблема с размером кучи в моем кеше.

У меня есть файл CSV с 2.000.000 ~ 3.000.000 строк, размер файла 600~800 мегабайт, но когда я загружаю эти данные в свой кеш на GridGain, мне нужно 5~7 гигабайт. Можно ли уменьшить размер данных в кеше? Или мне нужно 5~7 гигабайт, чтобы сохранить файл размером 600 мегабайт?


gridgain
person Andres    schedule 11.07.2014    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вот вещи, которые могут повлиять на потребление памяти:

  1. Количество настроенных резервных копий. Если у вас настроена, например, 1 резервная копия, то вы удваиваете объем памяти, необходимый для кластера.
  2. Индексы — если вы создаете индексы для своих данных, индексы требуют дополнительного места.
  3. Если объекты хранятся как в сериализованной, так и в десериализованной форме, требуется дополнительное пространство.

Я думаю, что хорошим тестом было бы загрузить те же данные в ConcurrentHashMap и посмотреть, сколько памяти потребуется для этого. Я бы сказал, что в распределенном транзакционном кеше, таком как GridGain, есть место, занимаемое версиями, блокировками и т. д., поэтому объем памяти, необходимый для распределенного кеша, должен быть примерно в 2 или 3 раза больше, чем требуется для простой ConcurrentHashMap.

person Dmitriy    schedule 12.07.2014