Вопросы по теме 'flink-sql'
Может ли Flink State заменить внешнюю базу данных
У меня есть проект Flink, который получает потоки событий и выполняет некоторую логику для добавления флага этого события, а затем сохраняет flag и eventID на некоторое время для повторного использования или для запроса другим система.
в...
528 просмотров
schedule
05.06.2022
Apache Flink: невозможно преобразовать объект таблицы в объект DataSet
Я использую API таблиц на Flink 1.4.0. У меня есть Table объекты, которые нужно преобразовать в DataSet типа Row . Проект был построен с использованием Maven и импортирован в IntelliJ. У меня есть следующий код, и среда IDE не может разрешить...
943 просмотров
schedule
30.07.2022
Чтение данных из Redis с помощью Flink
Я совершенно не знаком с Flink. Возможно, этот вопрос повторяется, но я нашел только одну ссылку, которая мне непонятна.
https://stackoverflow.com/a/44294980/6904987
Я сохранил данные в Redis в примере формата ключевого значения. Ключ - это...
1286 просмотров
schedule
07.06.2023
Вложенный вывод Flink
Я обрабатываю поток Kafka с помощью Flink SQL, где каждое сообщение извлекается из Kafka, обрабатывается с помощью flink sql и отправляется обратно в kafka. Мне нужен вложенный вывод, где вход плоский, а выход вложенный. Скажем, например, мой вклад...
366 просмотров
schedule
25.06.2022
Flink, как создать таблицу со схемой, полученной из входных данных Avro
Я загрузил файл Avro в набор данных Flink:
AvroInputFormat<GenericRecord> test = new AvroInputFormat<GenericRecord>(
new Path("PathToAvroFile")
, GenericRecord.class);
DataSet<GenericRecord> DS =...
724 просмотров
schedule
17.10.2022
Ошибка компилятора при регистрации TemporalTableFunction как функции
Я слежу за Пример определения функции темпоральной таблицы , а компилятор отказывается принимать этот код:
TemporalTableFunction rates =
ratesHistory.createTemporalTableFunction("r_proctime", "r_currency");
tEnv.registerFunction("Rates",...
62 просмотров
schedule
02.03.2022
Почему у моих запросов Flink SQL очень разные размеры контрольных точек?
При использовании Flink Table SQL в моем проекте я обнаружил, что если в моем SQL есть какое-либо предложение GROUP BY , размер контрольной точки значительно увеличится.
Например,
INSERT INTO COMPANY_POST_DAY
SELECT
sta_date,...
238 просмотров
schedule
04.10.2022
Контекст в processFunction для KeyedProcessFunction имеет значение null
Я пытаюсь использовать KeyedProcessFunction, но переменная ctx: Context в processFunction внутри моего KeyedProcessFunction возвращает значение null. Обратите внимание, что я использую значение по умолчанию TimeCharacteristic , равное...
714 просмотров
schedule
02.01.2023
Функция процесса Flink не возвращает данные в Sideoutputstream
Я пытаюсь проверить JSONObject с набором правил, если json соответствует набору правил, он вернет соответствующее правило, а JSONObject, если нет, он вернет JSONObject в Sideoutput, все это обрабатывается в ProcessFuntion, я получаю основной вывод,...
266 просмотров
schedule
17.06.2023
Таблица потоковой передачи flink с использованием источника kafka и использованием flink sql для запроса
Я пытаюсь прочитать данные из темы kafka в DataStream и зарегистрировать DataStream , после чего использовать TableEnvironment.sqlQuery ("SQL") для запроса данные, когда TableEnvironment.execute () нет ошибки и нет вывода.
public static...
857 просмотров
schedule
20.11.2022
Как использовать Apache Flink CEP SQL для получения событий из уже согласованного шаблона?
Мое требование - создать триггер на основе двух событий (EVT_A и EVT_B независимо от порядка). Вот ожидание
1. EVT_A arrived. --> No action
2. EVT_B arrived --> Should Trigger
3. EVT_B arrived --> should Trigger since A was received...
126 просмотров
schedule
05.04.2024
Flink присоединяется к неключевому атрибуту
У меня есть вариант использования, в котором я хочу соединить ключ с неключевым атрибутом в двух потоках данных в flink.
Возможно ли это сделать?
52 просмотров
schedule
25.07.2023
Flink SQL (V 1.12.1) не может прочитать журнал изменений debezium из потока Kinesis
У меня возникли проблемы с чтением журнала изменений Debezium из потока Kinesis. Могу ли я получить представление о том, как я могу анализировать события журнала изменений с помощью Flink SQL.
Ниже представлена моя попытка проанализировать поток...
99 просмотров
schedule
12.03.2023