Celery

Celery — фоновые задачи, периодические задания (Celery Beat) и распределённые вычисления для Django и FastAPI. Использует Redis или RabbitMQ как брокер сообщений.

Celery 5 поддерживает Python 3.8+, улучшенный мониторинг через Flower, canvas-примитивы (chain, group, chord) для оркестрации задач. По сравнению с Dramatiq и Huey, Celery предлагает самую зрелую экосистему и нативную интеграцию с Django. По сравнению с asyncio для фоновых задач, Celery обеспечивает persistence (задачи не теряются при перезагрузке), retry-механизмы и горизонтальное масштабирование через добавление воркеров.

Celery выносит тяжёлые операции из веб-запроса: отправка email, генерация PDF, обработка изображений, вызовы AI API. Пользователь не ждёт — задача выполняется в фоне.

Мы выбираем Celery с Redis-брокером для большинства проектов. Redis уже есть в стеке для кеширования, добавление Celery не требует дополнительной инфраструктуры. Для AI-задач (вызовы LLM, генерация изображений) фоновая обработка критична — ответ от OpenAI API занимает 5-30 секунд, веб-сервер не должен ждать.

Celery используется в наших Django и FastAPI проектах для фоновых задач: отправка уведомлений, генерация отчётов, AI-обработка, периодические ETL-задания через Celery Beat.

В проекте Oil-Game Celery обрабатывает аукционы: каждый раунд запускается по таймеру через Beat, фоновые задачи обрабатывают ставки и обновляют результаты. Distributed locks через Redis предотвращают дублирование при перезапуске.