Первоначально я установил кластер друидов с двумя историческими узлами по 30 ГБ памяти каждый. 2 узла среднего менеджера, один узел с работающим координатором и повелителем, 1 узел брокера.
После успешного запуска в течение 3-4 недель я увидел, что мои задачи оставались в рабочем состоянии даже после периода окна. Затем я добавил еще один исторический узел с такой же конфигурацией, в результате мои задачи снова стали работать нормально. Это означало, что все данные, загруженные в druid, будут сохраняться в памяти, и мне придется продолжать добавлять исторические узлы.
Есть ли способ сбросить некоторые данные из памяти в глубокое хранилище, и они должны загружаться в память всякий раз, когда выполняется запрос к этому набору данных? Каждый из моих исторических узлов имеет 30 ГБ ОЗУ. Конфиги:
druid.processing.buffer.sizeBytes = 1073741824
druid.segmentCache.locations = [{"путь": "var / druid / segment-cache", "maxSize": 32212254720}]
druid.port = 7080
druid.service = друид / исторический
druid.server.maxSize = 100000000000
druid.server.http.numThreads = 50
druid.processing.numThreads = 5 druid.query.groupBy.maxResults = 10000000
druid.query.groupBy.maxOnDiskStorage = 10737418240
