Вопросы по теме 'logstash-configuration'
Вход в файл Logstash: sincedb_path
После перезапуска Logstash время от времени наблюдалось, что Logstash дублирует события журнала. Интересно, как правильно применить параметры конфигурации start_position , sincedb_path , sincedb_write_interval .
Что происходит, когда в одном...
18371 просмотров
schedule
05.03.2024
Логсташ ожидал одного из #
В настоящее время я пытаюсь запустить Lostash со следующим файлом конфигурации:
input {
stdin { }
}
output {
rabbitmq {
exchange => "test_exchange"
exchange_type => "fanout"
host => "172.17.x.x"...
20056 просмотров
schedule
09.12.2022
Создание массива IP-адресов серверов в конфигурации Logstash?
Я хотел знать, возможно ли создать массив IP-адресов моего сервера, чтобы упростить редактирование и чтение файла конфигурации Logstash. Я помечаю наши машины с CentOS словом «linux», а наши ASA — словом «сеть». Прямо сейчас часть фильтра моей...
433 просмотров
schedule
29.07.2023
Как настроить logstash для отправки запроса к API аналитики APIGEE?
Я очень новичок в стеке ELK и пытаюсь использовать REST API аналитики APIGEE, который имеет форму URL-адреса. Ответ от URL-адреса будет файлом JSON. Каков наилучший подход к реализации?
634 просмотров
schedule
08.09.2022
Импорт данных Logstash SQL Server
input {
jdbc {
jdbc_driver_library => "sqljdbc4.jar"
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string =>...
25736 просмотров
schedule
13.09.2022
logstash неожиданно остановился
Я настроил logstash с архитектурой Redis для обработки своих журналов. Как я это организовал:
logstash ---> redis ---> logstash ---> elasticsearch
но проблема заключается в том, что после разбора почти 1,25 миллиона журналов...
249 просмотров
schedule
05.08.2022
Фильтр Java для Logstash
Вы знаете, что для Logstash есть фильтр Ruby, который позволяет мне писать код на Ruby, и обычно он включается в файл конфигурации следующим образом.
filter {
ruby {
code => "...."
}
}
Теперь у меня есть два файла...
1592 просмотров
schedule
13.02.2024
Logstash - найти длину результата разделения внутри mutate
Я новичок в Logstash. Сейчас я пытаюсь разобрать журнал в формате CSV. Мне нужно разделить поле с помощью разделителя пробелов, затем я добавлю новые поля на основе результата разделения.
Вот фильтр, который мне нужно создать:
filter {
......
2047 просмотров
schedule
30.05.2023
Logstash не обновляет @timestamp из журнала apache
Если вы заполняете журналы в logstash, вы должны попытаться каким-то образом вытащить правильные временные метки. В противном случае они присваиваются времени, когда строка журнала была получена logstash.
Это достигается с помощью фильтра date ,...
208 просмотров
schedule
07.11.2022
Многострочность в Logstash с меткой времени в каждой строке
У меня есть многострочный журнал, записанный в файл следующим образом:
INFO | jvm 1 | main | 2014/11/06 13:41:30.112 | ERROR [appHTTP50] [appEmployeeAuthenticationProvider] Can't login with username 'username'
INFO | jvm 1 | main |...
280 просмотров
schedule
22.10.2022
Фильтр Logstash: синтаксис
Недавно я начал изучать logstash, и синтаксис меня смущает. например: для совпадения у меня есть разные коды:
match => [ "%{[date]}" , "YYYY-MM-dd HH:mm:ss" ]
match => { "message" => "%{COMBINEDAPACHELOG}" }
match => [ "timestamp" ,...
359 просмотров
schedule
31.10.2022
Проблема с плагином logstash jdbc
Я использую плагин logstash jdbc для передачи данных из db в elasticsearch. При выборе данных из базы данных имена столбцов пишутся строчными буквами. Но мне нужно, чтобы имена столбцов были изменены на верхний регистр, а значения должны быть...
739 просмотров
schedule
13.05.2022
Logstash не может подключиться к rabbitmq
Я пытаюсь настроить конфигурацию logstash для передачи строк из файла в rabbitmq. Я установил logstash 2.1.1 и rabbit 3.6.0 на свой локальный компьютер, чтобы протестировать его. конфигурация вывода:
output {
rabbitmq {
exchange...
791 просмотров
schedule
05.04.2022
Ошибка динамического индекса Logstash из поля документа
Я все еще сталкиваюсь с проблемами, пытаясь понять, как сказать Logstash отправлять динамический индекс на основе поля документа. Кроме того, это Поле должно быть преобразовано, чтобы в самом конце получить «настоящий» индекс. Учитывая, что есть...
472 просмотров
schedule
28.07.2023
Извлеките из ElasticSearch в Kafka все новые обновления ES, используя logstash.
У меня есть кластер ES с несколькими индексами, которые получают обновления через случайные промежутки времени. У меня есть экземпляр logstash, извлекающий данные из ES и передающий их в Kafka.
Что было бы хорошим способом запускать это каждую...
562 просмотров
schedule
20.11.2022
Сообщение Logstash http_poller, указывающее, что имя не может быть найдено, ошибка
Я пытаюсь использовать http_poller для получения данных из ElasticSearch и записи их в другой ES. При этом запрос ES необходимо выполнять как запрос POST. В приведенных примерах я не смог найти параметры, которые нужно использовать для публикации...
604 просмотров
schedule
03.09.2022
Как разобрать дату с помощью фильтра даты
Мое сообщение журнала, как показано ниже
2016-04-04T12:51:01.05-0500 [App/0] OUT [INFO ] SRVE0250I: веб-модуль DataWorks привязан к default_host.
Может ли кто-нибудь помочь мне написать фильтр даты для анализа даты в приведенном выше...
1512 просмотров
schedule
07.05.2023
Избегайте коллизии ключа «тип», когда и событие, и ввод logstash предоставляют значения
Я пытаюсь написать конвейер для загрузки файла в logstash. Моя настройка требует указать в поле type в разделе ввода значение Запуск нескольких независимых файлов конфигурации logstash с вводом, фильтрацией и выводом . К сожалению, исходные...
179 просмотров
schedule
30.10.2022
logstash http_poller Ответ первого запроса URL должен быть введен в параметр запроса второго URL
У меня есть два URL-адреса (из соображений безопасности я объясню с помощью пустышки)
a> https://xyz.company.com/ui/api/token
b> https://xyz.company.com/request/transaction?date=2016-01-21&token=<tokeninfo>
Когда вы нажмете...
4961 просмотров
schedule
23.07.2023
Преобразование журнала JDBC MySQL в число с плавающей запятой
Привет всем, у меня проблема с использованием logstash. В настоящее время я импортирую из mysql с помощью плагина JDBC, но когда у меня есть поле с плавающей запятой, они преобразуются в строку, выдающую следующую ошибку:
@metadata_accessors=#,...
70 просмотров
schedule
27.06.2022
