Публикации по теме 'stream-processing'


Введение в темы и разделы Kafka
В Apache Kafka есть несколько вещей, не менее важных, чем темы. Это то, с чем вы сразу столкнетесь, когда попытаетесь следовать любому руководству по использованию Kafka. Итак, давайте посмотрим ... Что такое тема в Apache Kafka? Сообщения в Kafka организованы по темам. Тема - это именованный логический канал между производителем и потребителями сообщений. Имя обычно используется для описания данных, содержащихся в теме. Примером темы может быть тема, содержащая показания всех..

Прогнозирование потока данных с использованием [WSO2 CEP] [H2O.ai]
В реальном мире данные передаются разными способами. Когда дело доходит до анализа этих данных, мы можем использовать пакетную аналитику, аналитику в реальном времени, интерактивную аналитику и прогнозную аналитику. Эта статья расскажет, как можно выполнить прогнозный анализ с помощью WSO2 CEP. В предиктивной аналитике он проходит разные фазы. Во-первых, мы должны собрать данные, относящиеся к сценарию, который мы собираемся обработать. Затем необходимо провести некоторый анализ..

Вопросы по теме 'stream-processing'

Ламина против Шторма
Я разрабатываю прототип монитора реального времени для обработки довольно больших объемов (> 30 ГБ / день) потоковых числовых данных. Я хотел бы написать это на Clojure, так как язык, кажется, хорошо подходит для системы типа «наблюдатель + конечный...
795 просмотров

Поддержка подстановочных знаков Activemq в источнике Spring xd jms?
I ', используя activemq 5.9 с пружиной xd 1.1. Хочу подписаться на тему activemq. Итак, я использую источник jms. Activemq поддерживает подстановочные знаки, такие как *,>. > используется для рекурсивного сопоставления любого пункта назначения,...
270 просмотров

Правила агрегирования Apache Samza для отсутствующих ожидаемых событий в скользящем периоде времени
Мой вариант использования — идентифицировать сущности, от которых ожидаемые события не были получены по прошествии X времени в режиме реального времени. Например: если мы получили событие PaymentInitiated в момент времени T, но не получили ни...
72 просмотров

Как сессионизировать поток с помощью Apache Flink?
Я хочу разбить этот поток на сеансы: 1,1,1,2,2,2,2,2,3,3,3,3,3,3,3,0,3,3,3,5,... на эти сеансы: 1,1,1 2,2,2,2,2 3,3,3,3,3,3,3 0 3,3,3 5 Я написал CustomTrigger, чтобы определять, когда элементы потока изменяются с 1 на 2 (с 2 на 3, с 3 на 0...
96 просмотров
schedule 20.03.2023

Решение проблемы с оникс-кафкой, не пишущей в тему. Как запустить kafka в docker swarm. Ошибка установки размера тома среды выполнения (/dev/shm)?
Я пытаюсь i) устранить неполадки с простой onyx-kafka задание не писать в тему. Более подробная информация приведена здесь . И вы можете попробовать это в этом примере проекта . Я думаю, причина в том, что есть только один узел kafka....
202 просмотров

использование grep для фильтрации потока строк и добавления к нему префикса обнаруженного шаблона
получил каверзный вопрос относительно фильтрации нескольких шаблонов с помощью grep при изменении самого потока в зависимости от выбранного шаблона если я хочу отфильтровать несколько шаблонов, скажем, вывода «ps -ef», я могу сделать это ps -ef...
118 просмотров
schedule 31.05.2023

Apache flink - Характеристики времени
Как я могу использовать характеристики времени приема в Apache flink. Я знаю, что нам нужно задать временные характеристики среды. Но как я могу собрать данные с отметками времени, которые можно назвать временем приема? В настоящее время, когда я...
235 просмотров
schedule 27.12.2022

Apache Flink - временные окна событий
Я хочу создать окна с ключами в Apache flink, чтобы окна для каждого ключа выполнялись через n минут после прибытия первого события для ключа. Можно ли сделать это с использованием временных характеристик событий (поскольку время обработки зависит от...
1054 просмотров
schedule 27.06.2022

Можно ли сгенерировать и использовать динамический URL-адрес в WSO2SP?
Можно ли сгенерировать и использовать динамический URL-адрес в качестве publisher.url в запросе приемника http? У меня есть входной поток, который принимает параметр. В зависимости от того, какое значение я передаю в этом потоке, оно должно быть...
80 просмотров
schedule 14.06.2022

Распределенная обработка - Apache Spark, Flink, Samza, Siddhi, Hazelcast Jet
Представьте себе систему обработки, которая получает данные от других внутренних систем или от конечных точек REST, доступных в Интернете. После получения набор (фоновых) задач (вычисление ответа от ввода на основе базы данных или других...
345 просмотров

Невозможно обрабатывать ответы с использованием кодов состояния HTTP с регулярным выражением в Сиддхи
Я пытался обработать / получить все ответы с кодами состояния 2xx с HTTP-кодом ответа regex '2 \ d +', но он не обрабатывал его должным образом. Когда я ввожу код состояния HTTP напрямую (например, '202 ') затем он обрабатывал ответ. Но я хочу,...
131 просмотров

тема журнала изменений в потоках Kafka - установка или изменение разделов
У нас есть приложение потокового процессора, которое потребляет данные из темы с n разделами (n ›1). С самого начала (без темы журнала изменений) среда разработки всегда создает тему журнала изменений с n разделами . В том же сценарии на...
675 просмотров
schedule 05.03.2022

Тест подсчета слов показывает медлительность Flink
я делаю некоторое сравнительное сравнение между платформами потоковой обработки, Я выбрал WordCount, такую ​​​​задачу Hello world (с некоторыми поворотами) в этой области, и до сих пор тестировал Flink и Hazelcast Jet, в результате Flink требуется...
95 просмотров