Публикации по теме 'apache-kafka'
Создание масштабируемой базы данных в реальном времени
Демонстрация и руководство по интеграции ClickHouse с Redpanda для создания базы данных OLAP.
Это сообщение изначально было опубликовано в блоге Redpanda .
Многие компании, которые ежедневно собирают и анализируют огромные объемы данных, создают еще больше данных, когда сообщают о своих выводах.
Поскольку эти компании и их данные продолжают расти, анализ данных в режиме реального времени становится все более и более важным. Чем больше необработанных данных, тем больше данных для..
Введение в темы и разделы Kafka
В Apache Kafka есть несколько вещей, не менее важных, чем темы. Это то, с чем вы сразу столкнетесь, когда попытаетесь следовать любому руководству по использованию Kafka. Итак, давайте посмотрим ...
Что такое тема в Apache Kafka?
Сообщения в Kafka организованы по темам. Тема - это именованный логический канал между производителем и потребителями сообщений. Имя обычно используется для описания данных, содержащихся в теме.
Примером темы может быть тема, содержащая показания всех..
Панель управления в реальном времени с Kafka и Spark Streaming
В настоящее время почти каждый разработчик или инженер, ориентированный на данные, или как они там себя называют, говорит о реальном времени, реальном времени и реальном времени ... Большую часть времени я работаю с пакетной обработкой, такой как Hadoop, Hive, Spark и т. Д.
Но что, если вам нужно создать информационные панели в реальном времени?
Вероятно, наиболее частый ответ:
та-да! Apache Kafka и Apache Spark Streaming
Но почему мы используем Spark Streaming?
Apache Spark..
Apache Kafka для новичков
Эта статья посвящена введению в Apache Kafka и содержит инструкции по установке и настройке Apache Kafka в среде Windows, а также созданию потребителей и производителей Kafka.
Apache Kafka и ключевые термины
Apache Kafka - это распределенная потоковая платформа , которая позволяет отправлять и подписываться на поток данных. Apache Kafka быстрый, масштабируемый, надежный и отказоустойчивый. Кроме того, он может управлять большими объемами данных и может использоваться для..
Kafka Acks объяснил
Визуализация наиболее непонятого параметра конфигурации Kafka
Проработав с Kafka почти два года, есть две конфигурации, взаимодействие которых, как я заметил, повсеместно запутано.
Эти две конфигурации acks и min.insync.replicas - и как они взаимодействуют друг с другом.
Эта статья призвана быть удобной справочной информацией, которая устраняет путаницу с помощью некоторых иллюстраций.
Репликация
Чтобы лучше понять эти конфигурации, полезно напомнить себе о протоколе..
Вопросы по теме 'apache-kafka'
ClassCastException: kafka.message.Message не может быть приведен к java.lang.String на kafka Producer
Я пытаюсь написать какой-нибудь простой производитель, который пишет сообщения в kafka. Я скачал kafka0.7.
Запустите сервер kafka, производителя и потребителя
> bin/kafka-server-start.sh config/server.properties
>...
9360 просмотров
schedule
11.08.2022
Кафка PointToPoint
Проблема
У нас есть установка ActiveMQ с несколькими центрами обработки данных, с NFS для каждой пары HA, и кажется, что activeMQ на самом деле не масштабируется и плохо справляется с проблемами NFS. (мы используем 5.7)
Возможное решение...
4527 просмотров
schedule
07.06.2022
Класс разделителя KafKa, назначьте сообщение разделу внутри темы с помощью ключа
Я новичок в kafka, поэтому извиняюсь, если я звучу глупо, но до сих пор я понял ... Поток сообщений можно определить как тему, например категорию. И каждая тема разделена на один или несколько разделов (каждый раздел может иметь несколько реплик)....
35100 просмотров
schedule
22.09.2022
Kafka: невозможно создать несколько потребителей потока
Я только что начал работать с Kafka 0.8 beta 1. У меня есть действительно простой пример, проблема в том, что я могу заставить работать только одного потребителя сообщений, а не несколько. То есть метод runSingleWorker() РАБОТАЕТ. Метод run() НЕ...
4530 просмотров
schedule
08.12.2022
Можно ли назначить потребителя высокого уровня Kafka определенному разделу?
Учитывая тот факт, что Consumer в Kafka может быть настроен на получение сообщений только из одного раздела, я не видел подходов к настройке для этого.
Как мне сказать брокеру Kafka:
Что я ПОТРЕБИТЕЛЬ A с этим идентификатором в этой ГРУППЕ...
3142 просмотров
schedule
30.07.2023
Кафка добавляет префикс к сообщению
Работая с kafka 7.2 , при отправке сообщения с использованием производителя я обнаружил, что после его использования сообщение приходит с дополнительным разделом в начале сообщения.
Например, при отправке в kafka простой строки «King Daniel»,...
907 просмотров
schedule
14.07.2023
Как я могу отправлять большие сообщения с Kafka (более 15 МБ)?
Я отправляю String-сообщения в Kafka V. 0.8 с помощью Java Producer API. Если размер сообщения составляет около 15 МБ, я получаю MessageSizeTooLargeException . Я попытался установить message.max.bytes to 40 МБ, но все равно получаю исключение....
174145 просмотров
schedule
03.10.2023
Сборка apache Kafka
Я пытаюсь построить Kafka с помощью Scala 2.10.1. Я попробовал выполнить шаги, указанные на Git-hub. В конце он генерирует Jar в каталоге Target, однако этот Jar пуст и его размер составляет 5 КБ. Я что-то упустил? Я совершенно новичок в SBT....
1748 просмотров
schedule
10.03.2023
UnsatisfiedLinkError при отправке сжатого (мгновенного) сообщения в kafka
В своем веб-приложении на Java я отправляю сообщения на адрес kafka .
Я хотел бы сжать свои сообщения перед их отправкой, поэтому я устанавливаю в свойствах производителя:
props.put ("сжатие.кодек", "2");
Насколько я понимаю, «2» означает...
3938 просмотров
schedule
10.07.2023
Ошибка создания темы Kafka в Windows 7
После нескольких повторных попыток и изменения файлов bat мне, наконец, удалось запустить Kafka и Zookeeper в Windows 7. Это 32-разрядная машина с Java 7. К сожалению, я не могу создать тему. Я пробовал использовать руководство здесь:...
8390 просмотров
schedule
26.06.2023
В Kafka как получить точное смещение по времени изготовления
Мне нужно, чтобы сообщение создавалось в Кафке час за часом в день. Каждый час я буду запускать задание по потреблению сообщения, созданного час назад. например, если текущее время 20:12, я буду использовать сообщение между 19:00:00 и 19:59:59. Это...
25558 просмотров
schedule
14.08.2022
Что означает исключение kafka.common.OffsetOutOfRangeException
Я пытаюсь загрузить данные через Apache Kafka и постоянно получаю эту ошибку:
kafka.common.OffsetOutOfRangeException: смещение 1003786 вне допустимого диапазона в kafka.log.Log $ .findRange (Log.scala: 46) в kafka.log.Log.read (Log.scala: 264)...
10052 просмотров
schedule
13.07.2022
Hbase против Cassandra против Kafka для хранения данных временных рядов с высоким разрешением
Между Hbase, Cassandra и Kafka, каковы плюсы и минусы использования любой из технологий для хранения данных временных рядов с высоким разрешением (s или даже ms)?
5773 просмотров
schedule
20.02.2022
Какой синтаксис используется для описания структуры данных Kafka в ZooKeeper?
Я новичок в Kafka/Zookeeper, и меня немного смутил синтаксис, который используется для описания структуры данных Kafka в Zookeeper. Например:
Schema:
{ "fields" :
[ {"name": "version", "type": "int", "doc": "version id"},
{"name":...
529 просмотров
schedule
24.04.2023
Несколько производителей Kafka пишут в одну и ту же тему - порядок сообщений и пакетов данных
Я пытаюсь узнать о Кафке. Скажем, у меня есть несколько продюсеров, каждый из которых пишет в одну и ту же тему. (Не может быть больше тем из-за дизайна, и мы используем avro для сериализации) Поскольку наше сообщение слишком большое, нам нужно...
6967 просмотров
schedule
09.12.2022
Стратегии отказоустойчивости Zooker
Мы молодая команда, создающая приложение с использованием Storm и Kafka. У нас есть общий ансамбль Zookeeper из 3 узлов, который используется как Storm, так и Kafka.
Я написал тестовый пример для проверки отказоустойчивости zooker
1) Убедитесь,...
2423 просмотров
schedule
16.03.2022
WebSocket закрывается после 1000 сообщений
Я пишу приложение для потоковой передачи сообщений в браузер из Apache Kafka с использованием WebSocket. Когда сервер какое-то время не использует сообщения и смещение отстает, веб-сокет закрывается после 1000 или 2000 сообщений. Число, кажется,...
1176 просмотров
schedule
02.11.2022
Проблема с потоковой передачей Spark Kafka
Я использую maven
я добавил следующие зависимости
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>...
6269 просмотров
schedule
27.04.2023
Кафка высокого уровня против потребителя низкого уровня
У меня есть следующие вопросы по темам и разделам
1) В чем разница между n-темами с m-разделами и n m темами? Будет ли разница при доступе к m-разделам через m потоков и n m тем с использованием n*m разных процессов
2) Идеальный вариант...
6785 просмотров
schedule
13.04.2023
Может ли уплотнение Kafka перезаписывать сообщения с тем же ключом раздела?
Я использую следующий код для записи в Kafka:
String partitionKey = "" + System.currentTimeMillis();
KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, partitionKey, payload);
И мы используем версию Kafka...
5172 просмотров
schedule
28.05.2022
