Мы используем титан 0.5.0 поверх hbase 0.98.6 (cloudera 5.2). После некоторого времени использования мы обнаруживаем, что одно семейство столбцов в определенном регионе больше, чем максимальный размер файла HBase (hbase.hregion.max.filesize), и все же всякий раз, когда мы разделяем регион, он остается того же размера.
Кто-нибудь знает эту проблему и как мы можем ее решить?
Мы поняли, что проблема была с одним из индексов. Был индекс над свойством с низкой кардинальностью. Это сделало одну строку индекса в hbase очень большой. Мы не могли разделить его, потому что это была всего одна строка.
hbase.hregion.max.filesize не работает с hbase 0.94+, потому что политика разделения по умолчанию изменена. проверьте эту ссылку
вы должны изменить split_policy в оболочке, например: {TABLE_ATTRIBUTES => {MAX_FILESIZE => '12884901888', CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true', 'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy'}}
