Разбор json с помощью logstash (стек ELK)

Я создал простой json, как показано ниже.

[
    {
        "Name": "vishnu",
        "ID": 1
    },
    {
        "Name": "vishnu",
        "ID": 1
    }
]

Я храню эти значения в файле с именем simple.txt. Затем я использовал файл beat для прослушивания файла и отправки новых обновлений на порт 5043, с другой стороны, я запустил службу log-stash, которая прослушивает этот порт, чтобы анализировать и передавать json в эластичный поиск. log-stash не обрабатывает значения json, он зависает посередине.

logstash

input {
  beats {
    port => 5043
    host => "0.0.0.0"
    client_inactivity_timeout => 3600
  }
}
filter {
  json {
    source => "message"
  }
}
output {
    stdout { codec => rubydebug }
}

Конфигурация filebeat:

filebeat.prospectors:

    - input_type: log
      paths:
        - filepath
    output.logstash:
      hosts: ["localhost:5043"]

Вывод Logstash

**

Sending Logstash's logs to D:/elasticdb/logstash-5.6.3/logstash-5.6.3/logs which is now configured via log4j2.properties
[2017-10-31T19:01:17,574][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"fb_apache", :directory=>"D:/elasticdb/logstash-5.6.3/logstash-5.6.3/modules/fb_apache/configuration"}
[2017-10-31T19:01:17,578][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>"netflow", :directory=>"D:/elasticdb/logstash-5.6.3/logstash-5.6.3/modules/netflow/configuration"}
[2017-10-31T19:01:18,301][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>250}
[2017-10-31T19:01:18,388][INFO ][logstash.inputs.beats    ] Beats inputs: Starting input listener {:address=>"0.0.0.0:5043"}
[2017-10-31T19:01:18,573][INFO ][logstash.pipeline        ] Pipeline main started
[2017-10-31T19:01:18,591][INFO ][org.logstash.beats.Server] Starting server on port: 5043
[2017-10-31T19:01:18,697][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

**

Каждый раз, когда я запускаю log-stash с помощью команды

logstash -f logstash.conf

И поскольку json не обрабатывается, я останавливаю эту службу, нажимая ctrl + c.

Пожалуйста, помогите мне найти решение. Заранее спасибо.


elastic-stack filebeat logstash logz.io
person Skull    schedule 31.10.2017    source источник
comment
Возможно, filebeat уже прочитал файл и отправил данные? (Если вы постоянно добавляете данные в свой файл, это не проблема).   -  person baudsp    schedule 02.11.2017

Ответы (1)


arrow_upward
1
arrow_downward

наконец, я получил такую ​​​​конфигурацию. Она работает для меня.

input 
{
    file 
    {
       codec => multiline
        {
            pattern => '^\{'
            negate => true
            what => previous                
        }
        path => "D:\elasticdb\logstash-tutorial.log\Test.txt"
        start_position => "beginning"       
        sincedb_path => "D:\elasticdb\logstash-tutorial.log\null"
        exclude => "*.gz"
    }
}

filter {
json {
source => "message"
remove_field => ["path","@timestamp","@version","host","message"]
}
}

output {
  elasticsearch { hosts => ["localhost"] 
  index => "logs"
  "document_type" => "json_from_logstash_attempt3"
  }
  stdout{}
}

Формат JSON:

{"name":"sachin","ID":"1","TS":1351146569}
{"name":"sachin","ID":"1","TS":1351146569}
{"name":"sachin","ID":"1","TS":1351146569}
person Skull    schedule 03.11.2017