Одновременное использование Celery в процессах и gevent в задачах

Я считаю, что рекомендуемый способ запуска задачи следующий.

python manage.py celery worker -P gevent --loglevel=INFO

Gevent необходимо исправить как можно раньше.

Вы можете запустить сельдерей с несколькими потоками, содержащими несколько зеленок, например:

$ celery multi start 4 -P gevent -l info -c:1-4 1000

По моему странному опыту, Celery Beat не может правильно работать с воркерами с пулом gevent (запланированные задачи заблокированы и ждут вечно), если вы не активируете исправление gevent monkey для процесса Beat.

Однако celery beat не поддерживает параметр --pool=gevent или -P gevent. Правильный способ ввести исправление gevent monkey - использовать ограниченный двоичный файл celery, например:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from gevent import monkey
monkey.patch_all()

import re
import sys

from celery.__main__ import main

if __name__ == '__main__':
    sys.argv[0] = re.sub(r'(-script\.pyw|\.exe)?$', '', sys.argv[0])
    sys.exit(main())

Сохраните его как celery-gevent и запустите службу Beat следующим образом:

celery-gevent beat --app=proj.celery:app --loader=djcelery.loaders.DjangoLoader -f /var/log/celery/beat.log -l INFO --workdir=/my/proj --pidfile=/var/run/celery/beat.pid

В proj.celery вам также следует исправить соединение Django, чтобы избежать DatabaseError:

from __future__ import absolute_import

import os
# Set the Django settings module for the 'celery' program
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

import django
# Load Django model definitions, etc
django.setup()

from django.db import connection
# Allow thread sharing to ensure that Django database connection
# works properly with gevent.
connection.allow_thread_sharing = True

from django.conf import settings
from celery import Celery

app = Celery('proj')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

(Приведенный выше пример работает для Python 2.7.10, Celery 3.1.18, Django 1.8.2 и gevent 1.0.2)

Насколько мне удалось узнать, это невозможно. Если кто-то найдет ответ получше, я приму его вместо своего.

Единственный вариант - использовать gevent в качестве бэкэнда для рабочих Celery. Что нужно сделать для этого, так это добавить в файл конфигурации следующее:

CELERYD_POOL = 'gevent'

Более подробную информацию об этих параметрах можно найти здесь. Дополнительная информация о пуле gevent находится на этой странице. Обратите внимание на тот факт, что бассейн gevent все еще помечен как экспериментальный. Я не нашел доступных тестов для сравнения процессов и пула async gevent для разных задач (задачи, ориентированные на ввод-вывод, задачи, ориентированные на ЦП), но, наконец, я понял, что даже мои задачи, связанные с привязкой к ЦП, на самом деле будут больше чем CPU, потому что я использую базу данных для сохранения результатов, и соединение с базой данных будет узким местом, а не вычислительной частью. У меня не будет научных задач, которые сильно ударили бы по процессору.