Вопросы по теме 'ksqldb'
Ошибка при попытке присоединиться к таблице и потоку
Я пытаюсь объединить таблицу и поток и создать другую таблицу, как показано ниже:
CREATE TABLE table_fx_latest AS
SELECT t1.currencyid,
t1.maxtimestamp,
t2.midprice
FROM stream_fx2 t2 LEFT JOIN table_fx_latest3 t1
ON...
824 просмотров
schedule
30.08.2022
Проблема при подключении ksql к kafka confluent версии 3.3.0 в докере
Я настраиваю ksql-cli с конфлюентной версией 3.3.0 следующим образом
#zookeper
docker run -d -it \
--net=host \
--name=zookeeper \
-e ZOOKEEPER_CLIENT_PORT=32181 \
confluentinc/cp-zookeeper:3.3.0
#kafka
docker run -d \...
406 просмотров
schedule
20.04.2022
Проблема с Confluent 4.1.0 KSQL (невозможно переопределить свойство bootstrap.servers)
Я использую confluent 4.0.1
Я запускаю KSQL CLI с помощью следующей команды.
./bin/ksql --config-file etc/ksql/ksql-server.properties -- http://127.0.0.1:9195
Когда я пытаюсь запросить потоки или создать новые потоки, я получаю следующую...
189 просмотров
schedule
17.10.2022
Как объединить два потока Kafka и получить результат в теме со значениями Avro
У меня есть два потока Kafka с ключами в String и значениями в формате Avro , которые я создал с помощью KSQL.
Вот первый:
DESCRIBE EXTENDED STREAM_1;
Type : STREAM
Key field : IDUSER
Timestamp field : Not...
4029 просмотров
schedule
28.11.2022
Ksql, GROUP BY возвращает ServerError:java.lang.NullPointerException
Я использую confluent 4.1.1, я пробовал несколько агрегатных команд, но всегда возвращал NPE с GROUP BY:
ksql> select cust_id, count(*) as sum_sub from TBL_SUBSCRIBER GROUP BY cust_id;
ServerError:java.lang.NullPointerException
ksql>...
195 просмотров
schedule
05.04.2023
Как работает оконный запрос KSQL и максимальный размер окна
У меня есть два вопроса относительно запросов в KSQL по запросам, использующим оконное управление:
Скажем, у меня есть следующий запрос на агрегирование:
ВЫБЕРИТЕ id, COUNT (*) ИЗ testtopic_stream ПЕРЕКРУЧИВАНИЕ ОКНА (РАЗМЕР 30 ДНЕЙ) ГРУППА...
863 просмотров
schedule
23.06.2023
Как интегрировать данные таблиц MySql в поток или таблицы Ksql?
Я пытаюсь построить конвейер данных от MySql до Ksql .
Пример использования: источник данных - MySql. Я создал таблицу в MySql.
Я использую
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties...
858 просмотров
schedule
04.02.2023
ksql - Тема приемника XXXX не существует в хранилище метаданных
Я пытаюсь создать данные в targetTopic1 на основе sourceTopic1 и sourceTopic2. Обе исходные темы должны иметь одинаковую структуру событий. Сначала создается целевой поток, а затем выполняется попытка вставить данные из другого исходного потока в...
428 просмотров
schedule
05.11.2022
Как написать запрос KSQL к идентификатору региона для конкретного пользователя
Привет, я создал следующий поток со следующими значениями,
"account_id VARCHAR, user_id VARCHAR, src_ip VARCHAR, country_code VARCHAR, сообщение VARCHAR"
Теперь я могу создать таблицу только с определенным совпадающим полем account_id в заданном...
468 просмотров
schedule
11.12.2023
Зарегистрировать зарезервированное ключевое слово в Ksql, и если да, то как я могу выбрать поле с таким именем
Я изучаю платформу Confluent (Kafka, Ksql и т. Д.). Я передаю данные в тему Kafka с помощью Debezium с Kafka Connect. Одно из полей в моей таблице базы данных «журнал» называется «регистр», которое является меткой времени, когда была добавлена...
186 просмотров
schedule
11.04.2023
KSQL SERVER и параллелизм приложений
Допустим, у меня есть тема с 5 разделами? Как я могу гарантировать, что только с одним сервером KSQL будет создано 5 приложений для обеспечения максимального параллелизма?
Короче говоря, может ли KSQL Server запускать несколько приложений...
43 просмотров
schedule
16.01.2024
Перезагрузите KSQL-Server при выполнении некоторых запросов.
Я пытаюсь найти какой-то документ об этом, что при выполнении некоторых запросов и перезапуске KSQL-Server. Что будет?
Работает ли он аналогично Kafka-Streams, поэтому смещение потребителя не фиксируется и гарантируется хотя бы один раз?
Я могу...
208 просмотров
schedule
13.06.2023
Использование пользовательского или другого столбца, отличного от столбца rowtime, в качестве столбца отметки времени в KSQL при выполнении соединений
Привет, я пробую KSQL и обнаружил, что большая часть документации содержит примеры прямого соединения с kstream или ktable. Допустим, у меня есть 2 потока, уже созданных командой X, и я не могу их изменить или воссоздать новые потоки, а также хочу...
210 просмотров
schedule
13.04.2023
Как запустить поток KSQL со сжатием
Я использую KSQL для обработки данных Kafka. Я могу создавать постоянные потоки kafka, но тема вывода для этого потока не является сжатой. Как определить тип сжатия при создании стрима.
CREATE STREAM TARGET_TOPIC WITH...
237 просмотров
schedule
03.05.2023
Объединение событий при отсутствии определенного временного окна для прибытия события
У нас есть одна тема под названием migrationstatus . Предположим, мы разбиваем, так что все экземпляры и события для данного MigrationCandidateNumber всегда попадают в одну и ту же тему и раздел.
Следующее мероприятие прибывает 12-10-2019 в...
49 просмотров
schedule
20.02.2024
Изменилось ли поведение KSQL при цитировании по сравнению с версией 5.1.3?
Запрос Ksql, я попытался избежать столбца, который должен быть в нижнем регистре "operator_id", вот что у меня есть.
{"ksql": "CREATE STREAM stream1 WITH (PARTITIONS=4, REPLICAS=1, KAFKA_TOPIC='stream1_topic', VALUE_FORMAT='AVRO') AS SELECT * FROM...
38 просмотров
schedule
22.12.2023
Не удается сохранить агрегированную таблицу KSQL в Postgres
Я пытаюсь отразить таблицу KSQL в моей базе данных Postgres, используя коннектор приемника JDBC, но, к сожалению, я не могу заставить ее работать.
Я использую Kafka 5.4.1, и у меня есть 2 темы debezium 1.0, сериализованные с помощью Avro из моей...
178 просмотров
schedule
23.02.2023
Как выбрать / назначить раздел в KSQL
Я считаю, что это связанный вопрос: Использование Kafka KSQL для выбора всех событий темы из определенного раздела с заданным смещением
Как выбрать / назначить раздел через KSQL? Я пытаюсь запретить KSQL читать со всех разделов, так как...
224 просмотров
schedule
29.12.2022
Как подключить KSQLDB-Cluster в OpenShift к локальному керберизованному Kafka-кластеру
Чего я хочу достичь: У нас есть локальный кластер Kafka. Я хочу настроить KSQLDB в OpenShift и подключить его к брокерам локального кластера Kafka.
Проблема: Когда я пытаюсь запустить сервер KSQLDB с помощью команды / usr / bin /...
511 просмотров
schedule
31.05.2022
я не могу создать таблицу в kafka ksql
это мой sql, я не знаю, что не так
CREATE TABLE memo_src (
'id' VARCHAR PRIMARY KEY,
'title' VARCHAR,
'cover_image' VARCHAR
) WITH (
KAFKA_TOPIC = 'memo.memorandum.memorandum_info',
VALUE_FORMAT='AVRO'
);
Тогда подскажите...
92 просмотров
schedule
26.05.2023
