Я новичок в Apache Storm и в расширенных возможностях, доступных с очередями сообщений. Текущая система считывает файлы из хранилища данных (текстовые, двоичные, любые) и передает их в Apache Solr для индексации. Однако с этими файлами необходимо выполнить дополнительную обработку, и именно здесь начинается шторм. Во время UpdateRequestProcessorChain во время шторма кажется, что я могу записать обрабатываемый файл в брокер сообщений, который затем я могу извлечь с помощью шторма, чтобы сделать некоторые параллельная обработка в реальном времени.
Я ожидаю в среднем 10 000 запросов в секунду по 4 КБ/сообщение. Однако существует вероятность (хотя и очень редкая) передачи файла размером более 100 ГБ в течение нескольких секунд. Существует ли очередь сообщений, которая по-прежнему будет хорошо работать с этими требованиями?
Я уже изучил Kafka, который, похоже, оптимизирован для Сообщения размером 1 КБ. RabbitMQ похоже, не любит большие файлы. ActiveMQ, кажется, имеет сообщения blob для отправки больших файлов . У кого-нибудь есть опыт работы с любым из вышеперечисленных или других?
