DevOps и инфраструктура Celery 5

Celery

Распределённая очередь задач для асинхронной обработки и периодических заданий в Python.

Что это

Celery — фоновые задачи, периодические задания (Celery Beat) и распределённые вычисления для Django и FastAPI. Использует Redis или RabbitMQ как брокер сообщений.

Ключевые возможности

Фоновые задачи

Тяжёлые операции выполняются асинхронно — веб-сервер не блокируется.

Celery Beat

Периодические задания по расписанию — cron на стероидах.

Масштабирование

Горизонтальное масштабирование — добавьте воркеров при росте нагрузки.

Почему мы используем

Celery выносит тяжёлые операции из веб-запроса: отправка email, генерация PDF, обработка изображений, вызовы AI API. Пользователь не ждёт — задача выполняется в фоне.

Сильные стороны

Надёжность

Retry, ack/nack, dead letter queue — задачи не теряются.

Интеграция

Нативная поддержка Django и Flask, легко интегрируется с FastAPI.

Наш опыт

Celery используется в наших Django и FastAPI проектах для фоновых задач: отправка уведомлений, генерация отчётов, AI-обработка, периодические ETL-задания через Celery Beat.

Для каких задач применяем

  • Фоновая обработка (email, PDF, AI)
  • Периодические задания (ETL, отчёты)
  • Распределённые вычисления

Проекты с использованием Celery

AI-Director

SaaS-платформа для интеллектуального анализа компаний, поиска подрядчиков и генерации досье на персон с использованием AI.

Подробнее
CRM для B2B продаж

Кастомная CRM-система для управления сложными B2B-продажами с длинным циклом сделки.

Подробнее
Должная осмотрительность

Сервис автоматической проверки контрагентов: интеграция с ВОК API (СБИС), фоновый мониторинг по данным 1С, парсинг …

Подробнее
Корпоративная CRM

Полнофункциональная CRM-система для управления клиентами, сделками, задачами и аналитикой продаж с гибкой настройкой под бизнес-процессы.

Подробнее