我最近接手了公司正在开发的另一个项目,发现了RabbitMQ/Celery设置中似乎存在内存泄漏问题。 我们的系统有2GB的内存,任何时候大约有1.8GB的空闲内存。我们有多个任务来处理大量的数据并将其添加到数据库中。 当这些任务运行时,它们会消耗相当大量的内存,快速地将我们的可用内存降至...
我正在运行Django、Celery和RabbitMQ。我想要实现的目标是确保与一个用户相关的任务按顺序执行(具体来说,一次只执行一个任务,我不希望每个用户同时执行多个任务)。 当为用户添加新任务时,它应该依赖于最近添加的任务。额外的功能可能包括如果此类型的任务已经为该用户排队并且尚未启动...
我有一个定期执行的check_orders任务。它会创建一组任务,以便我可以计时执行任务所需的时间,并在所有任务完成后执行某些操作(这是res.join [1]和grouped_subs的目的)。被分组的任务是成对的链接任务。 我的要求是,当第一个任务不满足条件(失败)时,不要执行链中的第二...
我正在启动 celery python manage.py celeryd 它是在前台工作的。然后,为了测试命令,我需要启动另一个终端并在那里完成操作。 有没有办法在后台启动它?我尝试过这样做: python manage.py celeryd & 但是它又出现在前景
编辑2 如果有人能够发布模式应该是什么,我将非常高兴!我只需要知道表名和列名! 我正在按照这个教程进行操作:http://www.caktusgroup.com/blog/2014/06/23/scheduling-tasks-celery/ 我已经成功地安装了Django-Celery。...
我需要找到一种方法,在任何中间子任务抛出异常后,如何继续执行带有 immutable=True 子任务链。 我已经阅读了这个线程和这个问题评论。现在这些bug已经修复,但是我需要实现相反的行为。我不需要停止执行我的任务链。也许有另一种方式以任意顺序依次执行独立任务列表而不在它们之间发送结果?...
我在Django管理界面中不需要celery模块,有没有办法可以将其删除?
我正在使用Celery 2.4.6和django-celery 2.4.2。 当我按照这个问题的解决方案配置Celery来使用Amazon SQS时:Celery with Amazon SQS 我在Django管理页面的celerycam表中看不到任何内容。如果我切换回RabbitMQ,...
我的代码中有些任务执行的时间越来越长。 仔细检查后发现,尽管我将工作节点设置为并发为6,并且存在6个进程“执行工作”,但只有1个任务显示在“运行任务”下。这里是一个小小的视觉证明: 这是工作者选项: 这是那个工作者的任务选项卡,只有1个运行进程: 我发现,如果我重新启动cele...
问题 我该如何解决Celery中的ConnectionError: Too many heartbeats missed错误? 错误示例[2013-02-11 15:15:38,513: ERROR/MainProcess] Error in timer: ConnectionError(...