На моем сервере запущено два отдельных процесса celeryd, которыми управляет supervisor
. Они настроены на прослушивание в отдельных очередях как таковые:
[program:celeryd1]
command=/path/to/celeryd --pool=solo --queues=queue1
...
[program:celeryd2]
command=/path/to/celeryd --pool=solo --queues=queue2
...
И мой celeryconfig выглядит примерно так:
from celery.schedules import crontab
BROKER_URL = "amqp://guest:guest@localhost:5672//"
CELERY_DISABLE_RATE_LIMITS = True
CELERYD_CONCURRENCY = 1
CELERY_IGNORE_RESULT = True
CELERY_DEFAULT_QUEUE = 'default'
CELERY_QUEUES = {
'default': {
"exchange": "default",
"binding_key": "default",
},
'queue1': {
'exchange': 'queue1',
'routing_key': 'queue1',
},
'queue2': {
'exchange': 'queue2',
'routing_key': 'queue2',
},
}
CELERY_IMPORTS = ('tasks', )
CELERYBEAT_SCHEDULE = {
'first-queue': {
'task': 'tasks.sync',
'schedule': crontab(hour=02, minute=00),
'kwargs': {'client': 'client_1'},
'options': {'queue': 'queue1'},
},
'second-queue': {
'task': 'tasks.sync',
'schedule': crontab(hour=02, minute=00),
'kwargs': {'client': 'client_2'},
'options': {'queue': 'queue1'},
},
}
Все tasks.sync
задачи должны быть направлены в определенную очередь (и, следовательно, прогресс celeryd). Но когда я пытаюсь запустить задачу вручную с помощью sync.apply_async(kwargs={'client': 'value'}, queue='queue1')
, оба работника сельдерея подхватывают задачу. Как я могу направить задачу в правильную очередь и запускать только работника, привязанного к очереди?