Я настроил logstash с архитектурой Redis для обработки своих журналов. Как я это организовал:
logstash ---> redis ---> logstash ---> elasticsearch
но проблема заключается в том, что после разбора почти 1,25 миллиона журналов возникает исключение Java.
В моем файле журнала logstash.err
исключение выглядит как
Exception in thread "<file" java.lang.UnsupportedOperationException
at java.lang.Thread.stop(Thread.java:869)
at org.jruby.RubyThread.exceptionRaised(RubyThread.java:1221)
at org.jruby.internal.runtime.RubyRunnable.run(RubyRunnable.java:112)
at java.lang.Thread.run(Thread.java:745)
Я думаю, что это исключение может быть вызвано тем, что logstash не может открыть/закрыть файл. Итак, что я могу сделать, чтобы исправить эту ошибку? Моя конфигурация ввода настроена для моего первого сервера logstash для отправки журналов:
input {
file {
start_position => "beginning"
path => [
"/var/logstash_logs/child1/nginx/*log*",
"/var/logstash_logs/child2/nginx/*log*",
"/var/logstash_logs/child3/nginx/*log*"
]
}
}
И способ отправки вывода выглядит следующим образом:
output {
redis {
host => "X.X.X.X"
key => "logstash"
data_type => "list"
}
}
В логах сервера logstash с установленным Redis ошибок нет.