Вопросы по теме 'confluent-platform'
AccessControlException user = root, access = WRITE при использовании Kafka Connect HDFS
Я использую дистрибутив Hadoop от Confluent и пытаюсь перенаправить сообщения из Kafka (на другой машине) в HDFS. «Владелец» на стороне HDFS - «hadoop».
Ошибка достаточно распространена, и я попытался установить HADOOP_USER_NAME = hadoop, но все...
552 просмотров
schedule
07.09.2022
Режим кластера реестра конфлюентной схемы
Я использую Kafka Connect из Confluent для использования потока Kafka и записи в HDFS в формате паркета. Я использую службу реестра схем в 1 узле, и она работает нормально. Теперь я хочу передать реестр схем в кластерный режим для обработки отказа....
4951 просмотров
schedule
02.05.2022
конфлюентная платформа против apache kafka
Я новичок в kafka, и мне интересно узнать о платформе Confluent. Похоже, что на платформе Confluent не так много пользовательских историй. В чем разница между платформой Confluent и Apache Kafka?
24161 просмотров
schedule
30.06.2022
confluent kafka rest avrò производитель
Я использую confluent kafka-rest для создания сообщения avro, когда я использую конечную точку rest для его использования, формат возврата такой.
{
"key":null,
"value": {ACTUAL_PAYLOAD},
"partition":X,"offset":0
}
Интересно, что...
182 просмотров
schedule
27.04.2022
Kafka соединяет сливную раковину elasticsearch (ошибка класса не найдена)
Я новичок в Kafka Connect. Я хочу протолкнуть свои сообщения из темы Kafka в elasticsearch. После ознакомления с доступной документацией .. Я загрузил и скомпилировал эластичный поисковый приемник из выпуска tar.zip (...
1244 просмотров
schedule
22.04.2022
Confluent HDFS Connector теряет сообщения
Сообщество, не могли бы вы помочь мне понять, почему ~3% моих сообщений не попадают в HDFS ? Я написал простого производителя в JAVA для генерации 10 миллионов сообщений.
public static final String TEST_SCHEMA = "{"
+...
191 просмотров
schedule
09.07.2023
Отношения между Apache Kafka и Confluent
Я недавно изучаю Кафку.
Какая связь между Kafka и Confluent?
2078 просмотров
schedule
27.08.2022
Не удается установить пакет python confluent-kafka на Mac Sierra
Потратил слишком много времени, пытаясь установить confluent-kafka, но безуспешно. Я понимаю, что есть зависимость от librdkafka, но, похоже, она успешно установлена.
Следовал советам от:...
836 просмотров
schedule
18.10.2023
Как включить коннектор приемника Kafka для вставки данных из тем в таблицы по мере включения приемника
Я разработал kafka-сток-коннектор (с использованием confluent-oss-3.2.0-2.11, фреймворк подключения) для своего хранилища данных (Amppol ADS), в котором данные из тем kafka хранятся в соответствующих таблицах в моем магазине.
Все работает должным...
315 просмотров
schedule
16.07.2022
Репозиторий Confluent Maven не работает?
Мне нужно использовать артефакт Confluent kafka-avro-serializer Maven. Из официального руководства я должен добавить этот репозиторий к моему Maven pom
<repository>
<id>confluent</id>...
35250 просмотров
schedule
02.05.2024
Как иметь вложенную схему avro для реестра слитной схемы?
Я пробовал разные вещи со следующим веб-интерфейсом https://schema-registry-ui.landoop.com
Я не мог поместить следующее в реестр:
{
"namespace": "test.avro",
"type": "record",
"name": "test",
"fields": [
{...
2514 просмотров
schedule
17.11.2022
Контейнер реестра схемы: сервер неожиданно умер при запуске с использованием docker-compose
Я написал файл docker-compose.yml для создания следующих контейнеров:
Confluent-Zookeeper
Конфлюент-Кафка
Реестр Confluent-Schema
Я хочу, чтобы один файл docker-compose запускал необходимые контейнеры, предоставлял необходимые порты и...
2532 просмотров
schedule
23.03.2024
java.lang.NoSuchMethodError: com.google.common.collect.Sets $ SetView.iterator () Lcom / google / common / collect / UnmodifiableIterator;
Я пытался подключить kafka к elasticsearch с помощью api kafka-connect. Версия Kafka - 0.11.0.0. Я выполнил следующие шаги:
1.Подключение коннектора Elasticsearch:
https://github.com/confluentinc/kafka-connect-elasticsearch.git
2. построить...
9143 просмотров
schedule
07.03.2022
Как настроить конфлюентный докер для внешнего доступа на основе быстрого запуска объединенного докера
следующее основано на этом кратком руководстве здесь: http://docs.confluent.io/current/cp-docker-images/docs/quickstart.html
Там они демонстрируют различные компоненты kafka / confluent в своих собственных контейнерах докеров, каждый из которых...
619 просмотров
schedule
10.12.2022
Исключение соединителя Kafka ОШИБКА Не удалось отправить HTTP-запрос на конечную точку: http: // localhost: 8081 / subject / jdbc-source-accounts-value / versions
Я использую Confluent Platform 3.3 в качестве коннектора Kafka при запуске коннектора с помощью следующей команды:
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties...
2078 просмотров
schedule
28.09.2023
Перенос сообщений разной тематики на hdfs с помощью kafka-connect-hdfs
Я хочу передать данные из kafka в hdfs с помощью confluent, и я провожу эксперименты с помощью quickstart в модели CLI успешно.
Теперь я намерен развернуть объединенную платформу в производственной среде. Есть ли подробное руководство по...
70 просмотров
schedule
17.04.2023
Confluent platform - для базовых команд требуется sudo?
Я пробую использовать платформу Confluent с открытым исходным кодом на запущенном сервере AWS linux (CentOS 7.x). После выполнения установки yum в версии oss (версия с открытым исходным кодом) от имени пользователя root было довольно просто запустить...
162 просмотров
schedule
04.11.2022
Шаблон Kafka Consumer Java Maven
Я хочу написать потребителя кафки поверх сливающейся кафки.
Каков на данный момент лучший шаблон java maven для потребителя kafka?
183 просмотров
schedule
01.08.2022
Конфигурация журналов Kafka не подбирается при запуске Kafka через Confluent CLI
Я пытаюсь перейти с Apache Kafka на Confluent Kafka
Поскольку хранилище временной папки довольно ограничено, я изменил log.dirs server.properties на настраиваемую папку
log.dirs=<custom location>
Затем попробуйте запустить сервер...
719 просмотров
schedule
01.07.2023
confluent docker cp-kafka-connect 4.0.0 - тайм-аут HTTP500 и COORDINATOR_NOT_AVAILABLE
Я использую свою текущую инфраструктуру, используя объединенные образы докеров с версией 3.3.1, и все работает нормально. Теперь я пытаюсь настроить среду песочницы с версией 4.0.0, но у меня возникают проблемы.
У меня проблемы с запуском...
553 просмотров
schedule
29.06.2023
