Публикации по теме 'stream-processing'
Введение в темы и разделы Kafka
В Apache Kafka есть несколько вещей, не менее важных, чем темы. Это то, с чем вы сразу столкнетесь, когда попытаетесь следовать любому руководству по использованию Kafka. Итак, давайте посмотрим ...
Что такое тема в Apache Kafka?
Сообщения в Kafka организованы по темам. Тема - это именованный логический канал между производителем и потребителями сообщений. Имя обычно используется для описания данных, содержащихся в теме.
Примером темы может быть тема, содержащая показания всех..
Прогнозирование потока данных с использованием [WSO2 CEP] [H2O.ai]
В реальном мире данные передаются разными способами. Когда дело доходит до анализа этих данных, мы можем использовать пакетную аналитику, аналитику в реальном времени, интерактивную аналитику и прогнозную аналитику. Эта статья расскажет, как можно выполнить прогнозный анализ с помощью WSO2 CEP.
В предиктивной аналитике он проходит разные фазы. Во-первых, мы должны собрать данные, относящиеся к сценарию, который мы собираемся обработать. Затем необходимо провести некоторый анализ..
Вопросы по теме 'stream-processing'
Ламина против Шторма
Я разрабатываю прототип монитора реального времени для обработки довольно больших объемов (> 30 ГБ / день) потоковых числовых данных. Я хотел бы написать это на Clojure, так как язык, кажется, хорошо подходит для системы типа «наблюдатель + конечный...
795 просмотров
schedule
14.05.2023
Поддержка подстановочных знаков Activemq в источнике Spring xd jms?
I ', используя activemq 5.9 с пружиной xd 1.1. Хочу подписаться на тему activemq. Итак, я использую источник jms. Activemq поддерживает подстановочные знаки, такие как *,>. > используется для рекурсивного сопоставления любого пункта назначения,...
270 просмотров
schedule
12.05.2022
Правила агрегирования Apache Samza для отсутствующих ожидаемых событий в скользящем периоде времени
Мой вариант использования — идентифицировать сущности, от которых ожидаемые события не были получены по прошествии X времени в режиме реального времени.
Например: если мы получили событие PaymentInitiated в момент времени T, но не получили ни...
72 просмотров
schedule
01.05.2023
Как сессионизировать поток с помощью Apache Flink?
Я хочу разбить этот поток на сеансы: 1,1,1,2,2,2,2,2,3,3,3,3,3,3,3,0,3,3,3,5,... на эти сеансы:
1,1,1
2,2,2,2,2
3,3,3,3,3,3,3
0
3,3,3
5
Я написал CustomTrigger, чтобы определять, когда элементы потока изменяются с 1 на 2 (с 2 на 3, с 3 на 0...
96 просмотров
schedule
20.03.2023
Решение проблемы с оникс-кафкой, не пишущей в тему. Как запустить kafka в docker swarm. Ошибка установки размера тома среды выполнения (/dev/shm)?
Я пытаюсь i) устранить неполадки с простой onyx-kafka задание не писать в тему. Более подробная информация приведена здесь . И вы можете попробовать это в этом примере проекта . Я думаю, причина в том, что есть только один узел kafka....
202 просмотров
schedule
01.07.2022
использование grep для фильтрации потока строк и добавления к нему префикса обнаруженного шаблона
получил каверзный вопрос относительно фильтрации нескольких шаблонов с помощью grep при изменении самого потока в зависимости от выбранного шаблона
если я хочу отфильтровать несколько шаблонов, скажем, вывода «ps -ef», я могу сделать это
ps -ef...
118 просмотров
schedule
31.05.2023
Apache flink - Характеристики времени
Как я могу использовать характеристики времени приема в Apache flink. Я знаю, что нам нужно задать временные характеристики среды. Но как я могу собрать данные с отметками времени, которые можно назвать временем приема? В настоящее время, когда я...
235 просмотров
schedule
27.12.2022
Apache Flink - временные окна событий
Я хочу создать окна с ключами в Apache flink, чтобы окна для каждого ключа выполнялись через n минут после прибытия первого события для ключа. Можно ли сделать это с использованием временных характеристик событий (поскольку время обработки зависит от...
1054 просмотров
schedule
27.06.2022
Можно ли сгенерировать и использовать динамический URL-адрес в WSO2SP?
Можно ли сгенерировать и использовать динамический URL-адрес в качестве publisher.url в запросе приемника http?
У меня есть входной поток, который принимает параметр. В зависимости от того, какое значение я передаю в этом потоке, оно должно быть...
80 просмотров
schedule
14.06.2022
Распределенная обработка - Apache Spark, Flink, Samza, Siddhi, Hazelcast Jet
Представьте себе систему обработки, которая получает данные от других внутренних систем или от конечных точек REST, доступных в Интернете. После получения набор (фоновых) задач (вычисление ответа от ввода на основе базы данных или других...
345 просмотров
schedule
14.03.2023
Невозможно обрабатывать ответы с использованием кодов состояния HTTP с регулярным выражением в Сиддхи
Я пытался обработать / получить все ответы с кодами состояния 2xx с HTTP-кодом ответа regex '2 \ d +', но он не обрабатывал его должным образом. Когда я ввожу код состояния HTTP напрямую (например, '202 ') затем он обрабатывал ответ. Но я хочу,...
131 просмотров
schedule
11.12.2022
тема журнала изменений в потоках Kafka - установка или изменение разделов
У нас есть приложение потокового процессора, которое потребляет данные из темы с n разделами (n ›1). С самого начала (без темы журнала изменений) среда разработки всегда создает тему журнала изменений с n разделами .
В том же сценарии на...
675 просмотров
schedule
05.03.2022
Тест подсчета слов показывает медлительность Flink
я делаю некоторое сравнительное сравнение между платформами потоковой обработки,
Я выбрал WordCount, такую задачу Hello world (с некоторыми поворотами) в этой области, и до сих пор тестировал Flink и Hazelcast Jet, в результате Flink требуется...
95 просмотров
schedule
18.03.2023