Веб-интерфейс Fllink не отображает записи, полученные в реализации пользовательского источника

Я создал собственный источник для обработки потока журнала во Flink. Программа работает нормально и дает мне желаемые результаты после обработки записей.

Но когда я проверяю веб-интерфейс, я не вижу счетчиков. Ниже приведен снимок экрана: Количество записей/байт


person Hemant Kumar    schedule 08.01.2016    source источник


Ответы (1)


Flink объединил всех операторов вашего пайплайна в одного оператора: Source -> FlatMap -> ProcessLog -> Sink. Таким образом, этот единственный оператор содержит источник и приемник. Кроме того, Flink не может измерить ни количество байтов, прочитанных источником, ни количество байтов, записанных приемником. Он может только измерять байты, отправленные между операторами. Поскольку источник и приемник выполняются одним и тем же оператором, веб-интерфейс не показывает никаких отправленных/полученных байтов.

person Till Rohrmann    schedule 11.01.2016
comment
Используя перебалансировку между источником и приемником, задание разбивается на двух операторов, как решение, если вы хотите увидеть метрики, но это не имеет смысла (программно говоря). Вы можете добавить другие метрики в метрики задач, полезные для этого случая. - person Jose F. Gomez; 25.09.2017