как контролировать, получает ли filebeat журнал с указанного пути?

Я установил logstash на сервере для сбора журналов с нескольких клиентских серверов, установив filebeat на всех клиентских серверах, и все работает хорошо. теперь мне нужно получать тревогу, если каждый из клиентских серверов не отправляет журналы в filebeat (другими словами, я хочу получать тревогу по электронной почте, когда журнал не создается, потому что, например, мой код не работает). можно сделать это с помощью плагина statsd, и если да, то как я могу это сделать? Спасибо


filebeat logstash statsd
person A.Mani    schedule 07.10.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я использовал для этого две техники:

  1. настройте проверку в выбранной вами системе мониторинга (например, sensu), которая сравнивает записи в файле реестра filebeat с фактическими размерами отправляемых файлов. Если% становится слишком низким, отправьте предупреждение.
  2. следите за журналами, поступающими на ваш ES-сервер. В зависимости от ваших конкретных потребностей вы можете запросить, были ли получены какие-либо журналы в течение X минут, или если X-машины сообщили о файлах журналов в течение Y минут, или ... watcher Elastic неплохо справляется с этим, но также легко напиши сам.
person Alain Collins    schedule 08.10.2017
comment
Спасибо за ваш быстрый ответ. но я совершенно новичок в logstash, не могли бы вы объяснить больше, как я могу использовать наблюдателя Elastic для этих целей. и поскольку у меня несколько клиентов, мне важно знать, какая машина не отправляла журналы, например, за 1 час? Я установил x-pack, но я не знаю, как мне написать наблюдателя для этой цели, предположим, что у меня есть IP-адрес каждого клиентского сервера и мои индексы журнала по дате, например logstash-2017.10.07. Спасибо - person A.Mani; 08.10.2017
comment
Представьте себе запрос, который подсчитывает уникальные хосты, отправившие журналы за последние 5 минут. Если у вас 72 машины, вы ожидаете, что это число всегда будет 72. Я считаю, что наблюдатель может запустить запрос, сравнить результат с 72 и предупредить вас. Есть и другие способы, которые дадут вам больше гибкости. - person Alain Collins; 08.10.2017