Документы в elasticsearch удаляются автоматически?

Я создаю индекс logstash и загружаю в него данные из базы данных MySQL. Но что я заметил в elasticsearch, так это то, что после загрузки всех данных некоторые документы начинают удаляться. Общее количество документов 160729. Без планировщика работает нормально.

Я вставил планировщик cron, чтобы проверить, добавились ли новые строки в таблицу. Может ли это быть проблемой?

Моя logstash конфигурация выглядит как эта.

Где я ошибаюсь? Или такое поведение распространено?

Любая помощь может быть оценена.


person Kulasangar    schedule 28.10.2016    source источник


Ответы (1)


Число docs.deleted не означает, что ваши документы удаляются, а просто означает, что существующие документы «обновляются», и более старая версия обновленного документа помечается в процессе как удаленная.

Те документы, помеченные как удаленные, в конечном итоге будут очищены, поскольку Lucene объединяет сегменты в фоновом режиме.

person Val    schedule 28.10.2016
comment
Рад, что это помогло! - person Val; 28.10.2016