Рабочий процесс на основе файловой системы

У меня есть приложение с веб-приложением, которое в основном принимает загрузку некоторых файлов журнала, и есть некоторые процессы, которые должны последовательно воздействовать на полученные файлы журнала. В своей текущей реализации каждый процесс получает файлы из файловой системы, выполняет некоторую обработку и выводит обработанный файл в какую-либо другую папку, и он удаляется из входной папки. Теперь я хочу знать, лучший ли это подход, хотя я в этом сомневаюсь. Каким должен быть наилучший подход, чтобы следовать здесь? Должен ли я использовать для этого какую-нибудь систему обмена сообщениями, например RabbitMQ? Должен ли я передать весь файл в очередь или только имя каталога/файла и сохранить файл в какой-либо другой общей (например, NAS) или распределенной файловой системе?


person ptntialunrlsd    schedule 09.02.2015    source источник


Ответы (1)


Это во многом зависит от ваших требований и настроек. Например, если под процессами вы подразумеваете физически независимые узлы, тогда да, промежуточное ПО, ориентированное на сообщения, имеет смысл с точки зрения обеспечения связи между узлами издателя/подписчика. Кроме того, еще одним преимуществом является то, что вы разгружаете узел, который принимает входные файлы, и распределяете бизнес-логику на другие узлы.

person Andrei    schedule 10.02.2015