Пытаюсь читать из источника кафки. Я хочу извлечь метку времени из полученного сообщения, чтобы выполнить структурированную потоковую передачу искры. kafka (версия 0.10.0.0) искровая потоковая передача (версия 2.0.1)

Я пытаюсь прочитать данные от потребителя kafka с помощью spark2-shell. Пожалуйста, найдите мой код ниже. Я запускаю свою оболочку spark2 следующим образом: spark2-shell --jars kafka-clients-0.10.1.2.6.2.0-205.jar,...

Время выполнения Пряжа кластерный режим заявка Структурированная потоковая передача Spark Чтение данных из темы Kafka О теме Кафки 1 тема с 4 разделами - пока. (количество разделов можно изменить) Добавлено максимум 2000...

Когда мы пытаемся передать данные из темы Kafka с включенным SSL, мы сталкиваемся с ошибкой ниже. Не могли бы вы помочь нам в этом вопросе? 19/11/07 13:26:54 INFO ConsumerFetcherManager: [ConsumerFetcherManager-1573151189884] Added fetcher for...

Я пишу приложение для чтения данных из темы Kafka. И не могу добиться отказоустойчивости в случае сбоя драйвера. Приложение работает в кластере k8s с использованием spark submit. Когда я запускаю свое приложение в первый раз, все идет хорошо, но...

Как лучше всего сравнить полученные данные в Spark Streaming с существующими данными в HBase? Мы получаем данные от kafka как DStream, и перед записью их в HBase мы должны просканировать HBase на предмет данных на основе полученных ключей от...

У нас есть датчики, которые запускаются и работают в случайном порядке несколько раз в день. Данные от датчиков отправляются в тему Kafka, используются Spark Structured streaming API и сохраняются в Delta Lake. Теперь нам нужно идентифицировать и...