logstash http_poller Ответ первого запроса URL должен быть введен в параметр запроса второго URL

Да, это возможно при сочетании входа http_poller и выхода http.

Вот конфиг, который я придумал:

input {
   # 1. trigger new token requests every hour
   http_poller {
     urls => {
       token => "https://xyz.company.com/ui/api/token"
     }
     interval => 3600
     add_field => {"token" => "%{message}"}
   }
}
filter {
}
output {
   # 2. call the API
   http {
     http_method => "get"
     url => "https://xyz.company.com/request/transaction?date=2016-01-21&token=%{token}"
   }
}

ОБНОВЛЕНИЕ

Если вы хотите получить содержимое вызова API и сохранить его в ES, вам потребуется гибридное решение. Вам нужно настроить cron, который будет вызывать скрипт, который запускает два HTTP-вызова и сохраняет результаты в файле, а затем вы можете позволить logstash отслеживать этот файл и пересылать результаты в ES.

Сценарий оболочки для включения cron:

#!/bin/sh

# 1. Get the token
TOKEN=$(curl -s -XGET https://xyz.company.com/ui/api/token)

# 2. Call the API with the token and append JSON to file
curl -s -XGET "https://xyz.company.com/request/transaction?date=2016-01-21&token=$TOKEN" >> api_calls.log

Приведенный выше скрипт можно установить в cron с помощью crontab (или аналогичного), есть множество примеров того, как этого добиться.

Тогда конфигурация logstash может быть очень простой. Просто нужно сохранить файл api_calls.log и отправить документ в ES.

input {
    file {
        path => "api_calls.log"
        start_position => "beginning"
    }
}
filter {
    json {
        source => "message"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "my_index"
        document_type" => "my_type"
    }
    stdout {
        codec => "rubydebug"
    }
}