Celery + Redis后端：如何限制队列大小？

Question

当我使用Celery和Redis后端时，有没有一种方法可以限制队列大小？

类似于rabbitmq中预声明队列的x-max-length。

- Maksym Polshcha

Answer 1

据我所知，使用Redis作为后端是不可能的。

- DejanLekic

---

似乎是真的。 - Maksym Polshcha

Answer 2

这可能有点瑕疵，但您可以尝试在调用任务时使用 Redis 锁定。这样，如果另一个进程想要调用任务，它必须等待 Redis 锁被释放（当任务完成运行或超时到达时会发生这种情况）。这将防止过多的任务被添加到队列中。

 with r.lock(some_lock_name, blocking_timeout=10):
    your_celery_task.delay()

- luisgc93

Answer 3

我认为你正在寻找Celery中的预取限制。请查看文档。

- Bharat Gera

---

预取限制是工作线程可以为自己保留的任务数量上限。我需要限制我的队列。 - Maksym Polshcha

很有趣！限制执行任务的队列，我以前从未遇到过这样的情况。如果您找到了相同的方法，请务必分享。 - Bharat Gera