Централизованный ELK против централизованного EK + несколько Logstash

Мы хотим настроить общий интерфейс ведения журналов для всех продуктовых групп нашей компании. Для этого мы выбрали ELK, и мне нужен совет по настройке:

Один из способов - это централизованная установка ELK, и все команды могут использовать какой-нибудь пересылщик журналов, например. FileBeat для отправки журналов в общий logstash. Проблема с этим, как мне кажется, заключается в следующем: если команды хотят использовать фильтры журналов для анализа сообщений журнала, им потребуется доступ к общей машине ELK, чтобы добавить фильтры, поскольку Beats не поддерживает Groking или любую другую фильтрацию.

Второй способ - иметь разные серверы журналов для каждой команды, и все они будут указывать на общий сервер эластичного поиска. Таким образом, команды могут изменять / добавлять фильтры Grok.

Пожалуйста, просветите меня, если я чего-то упускаю или, может быть, я неправильно понимаю. Другие идеи приветствуются.


person mdev    schedule 11.07.2016    source источник
comment
Вы можете фильтровать с помощью файловых битов: elastic.co/guide/en/beats/filebeat/current/   -  person baudsp    schedule 11.07.2016


Ответы (1)


Думали ли вы об использовании fluentd вместо этого? Легкий, похожий на filebeat, позволяет искать и разбирать.

Конечно, другая альтернатива - использовать централизованный экземпляр Logstash и иметь разные файлы конфигурации для каждой сущности.

person Roy Rubin    schedule 11.07.2016