Вопросы по теме 'flink-sql'

Может ли Flink State заменить внешнюю базу данных
У меня есть проект Flink, который получает потоки событий и выполняет некоторую логику для добавления флага этого события, а затем сохраняет flag и eventID на некоторое время для повторного использования или для запроса другим система. в...
528 просмотров
schedule 05.06.2022

Apache Flink: невозможно преобразовать объект таблицы в объект DataSet
Я использую API таблиц на Flink 1.4.0. У меня есть Table объекты, которые нужно преобразовать в DataSet типа Row . Проект был построен с использованием Maven и импортирован в IntelliJ. У меня есть следующий код, и среда IDE не может разрешить...
943 просмотров
schedule 30.07.2022

Чтение данных из Redis с помощью Flink
Я совершенно не знаком с Flink. Возможно, этот вопрос повторяется, но я нашел только одну ссылку, которая мне непонятна. https://stackoverflow.com/a/44294980/6904987 Я сохранил данные в Redis в примере формата ключевого значения. Ключ - это...
1286 просмотров

Вложенный вывод Flink
Я обрабатываю поток Kafka с помощью Flink SQL, где каждое сообщение извлекается из Kafka, обрабатывается с помощью flink sql и отправляется обратно в kafka. Мне нужен вложенный вывод, где вход плоский, а выход вложенный. Скажем, например, мой вклад...
366 просмотров

Flink, как создать таблицу со схемой, полученной из входных данных Avro
Я загрузил файл Avro в набор данных Flink: AvroInputFormat<GenericRecord> test = new AvroInputFormat<GenericRecord>( new Path("PathToAvroFile") , GenericRecord.class); DataSet<GenericRecord> DS =...
724 просмотров
schedule 17.10.2022

Ошибка компилятора при регистрации TemporalTableFunction как функции
Я слежу за Пример определения функции темпоральной таблицы , а компилятор отказывается принимать этот код: TemporalTableFunction rates = ratesHistory.createTemporalTableFunction("r_proctime", "r_currency"); tEnv.registerFunction("Rates",...
62 просмотров

Почему у моих запросов Flink SQL очень разные размеры контрольных точек?
При использовании Flink Table SQL в моем проекте я обнаружил, что если в моем SQL есть какое-либо предложение GROUP BY , размер контрольной точки значительно увеличится. Например, INSERT INTO COMPANY_POST_DAY SELECT sta_date,...
238 просмотров
schedule 04.10.2022

Контекст в processFunction для KeyedProcessFunction имеет значение null
Я пытаюсь использовать KeyedProcessFunction, но переменная ctx: Context в processFunction внутри моего KeyedProcessFunction возвращает значение null. Обратите внимание, что я использую значение по умолчанию TimeCharacteristic , равное...
714 просмотров

Функция процесса Flink не возвращает данные в Sideoutputstream
Я пытаюсь проверить JSONObject с набором правил, если json соответствует набору правил, он вернет соответствующее правило, а JSONObject, если нет, он вернет JSONObject в Sideoutput, все это обрабатывается в ProcessFuntion, я получаю основной вывод,...
266 просмотров

Таблица потоковой передачи flink с использованием источника kafka и использованием flink sql для запроса
Я пытаюсь прочитать данные из темы kafka в DataStream и зарегистрировать DataStream , после чего использовать TableEnvironment.sqlQuery ("SQL") для запроса данные, когда TableEnvironment.execute () нет ошибки и нет вывода. public static...
857 просмотров

Как использовать Apache Flink CEP SQL для получения событий из уже согласованного шаблона?
Мое требование - создать триггер на основе двух событий (EVT_A и EVT_B независимо от порядка). Вот ожидание 1. EVT_A arrived. --> No action 2. EVT_B arrived --> Should Trigger 3. EVT_B arrived --> should Trigger since A was received...
126 просмотров

Flink присоединяется к неключевому атрибуту
У меня есть вариант использования, в котором я хочу соединить ключ с неключевым атрибутом в двух потоках данных в flink. Возможно ли это сделать?
52 просмотров
schedule 25.07.2023

Flink SQL (V 1.12.1) не может прочитать журнал изменений debezium из потока Kinesis
У меня возникли проблемы с чтением журнала изменений Debezium из потока Kinesis. Могу ли я получить представление о том, как я могу анализировать события журнала изменений с помощью Flink SQL. Ниже представлена ​​моя попытка проанализировать поток...
99 просмотров
schedule 12.03.2023