芹菜杀死进程

Question

我使用的是celery 3.1.23版本。

任务代码非常简单:

@app.task(bind=True, max_retries=None, default_retry_delay=settings.CELERY_RECONNECT_TIME)
def analize_text(self, **kwargs):
    print 'test'
    return 1

我运行了以下命令来启动Celery:

celery -A tasks worker --loglevel=info --concurrency=4 -n analize_text -Q analize.analize_text -Ofair

因此，我使用了4个CPU。问题是Celery定期杀死工作进程并启动新的进程。新的进程在日志中有新的编号和PID。以下是我的日志https://dpaste.de/N1Vk 为什么会这样？这是一个错误吗？

- maxx

Answer 1

这取决于CELERY_MAX_TASKS_PER_CHILD，即工作进程在被回收之前完成的任务数量，缺省值为无限制。

http://docs.celeryproject.org/en/latest/configuration.html#std:setting-CELERYD_MAX_TASKS_PER_CHILD

所以，你的Celery配置可能将此限制设置为一些较低的数字，因此你的工作程序正在被回收。您可以在Celery stats中查看更多信息。

- DhruvPathak