13得票1回答
Python RQ无法满足工作推送性能的要求

尝试使用python-rq支持我们的 Web 应用程序的后端,但是推送新工作需要很长时间 - 长达12秒。 性能问题发生在执行enqueue_call函数调用时,特别是当连接到系统的 worker 进程数量增加时(超过200个)。 该系统的工作方式如下: 前端将作业推送到任务队列服务器...

12得票3回答
如何在 Laravel 中指定队列运行作业

我有一个任务需要发送短信给用户。我希望在指定队列名称上运行此任务。例如,将此任务添加到"SMS"队列。所以我找到了一种方法来实现这个目标,但是存在一些错误。 创建任务实例并使用onQueue()函数来实现: $resetPasswordJob = new SendGe...

11得票3回答
谷歌应用引擎:task_retry_limit不起作用?

我有一个Python GAE应用程序。 我希望我的任务在失败后停止运行或重试一次。目前,它们会一直运行,尽管yaml文件中告诉它们停止! 以下是queue.yaml的一个条目: - name: globalPurchase rate: 10/s bucket_size: 100...

11得票1回答
使用基于AMQP的服务器是否比使用像beanstalkd或redis这样的东西有更强的理由?

我正在撰写一篇关于处理主应用程序之外的任务的项目,该项目使用Node.js编写的javascript代码。它需要处理未来计划的任务,并可能处理“立即”执行的任务。 “立即”只是指下一次工作人员变得可用时,它将对该任务进行操作,因此这一点可能并不重要。 工作人员将与外部资源进行通信,例如发送电子...

11得票6回答
错误:(gcloud.app.deploy)错误响应:[9] Cloud build XXXXXXXXXXXX 状态:失败

我遇到了这个错误将近一个小时,但最终找到解决方法,却引发了一个大问题。这个解决方法让我意识到,在任务队列中存在一个任务等待被服务端版本替换时,就不能运行gcloud app deploy。 错误信息如下:ERROR: (gcloud.app.deploy) Error Response: [...

9得票1回答
Web应用程序架构-需要工作/任务队列吗?

我正在设计一个Web应用程序,允许用户安排任务,并针对HTTP API(代表他们)执行这些任务。任务可以是重复的,可用于调度的最小时间分辨率为一分钟。由于任务的性质,我认为异步执行它们是有意义的。但是,这部分的架构应该如何设计呢? 我考虑使用任务队列来创建任务,并让工作人员执行它们。在这种情...

9得票1回答
管理 Celery 任务结果

我对Celery还很新,但我记得在某处读到过任务结果只会保留有限时间。然而,经过运行大量任务后,我的后端(redis)变得非常臃肿。 是否有方法可以为任务结果设置生存时间,或者这是我需要手动清除的东西吗?

9得票3回答
Laravel 5:多个工作进程 - 无法删除作业 XXXXXX:未找到。

我正在使用Laravel 5创建一个网站。我正在使用beanstalkd队列,其中有2个管道。我有10个由daemontools监控的工作进程。5个工作进程处理A和B管道。另外5个工作进程只处理B管道。 大部分时间都很好,但偶尔会出现B管道似乎被锁定的情况。日志显示工作进程抛出了异常。 [...

9得票1回答
如何使用RabbitMQ限制吞吐量?

问题来源: 我们正在使用RabbitMQ作为任务队列。其中一项特定任务是向Vkontakte社交网络发送通知。他们的API有请求限制,这个限制基于你的应用程序大小。小于100k人的应用程序每秒只能调用3次,以此类推。因此,我们需要人工限制向他们的服务发送请求的频率。现在这个逻辑是基于应用程序...

9得票3回答
检查Google App Engine中任务队列的状态。

我正在把几个任务放进任务队列中,并想知道特定的任务何时完成。我在API中没有找到有关回调或检查任务状态的任何信息,所以我想看看其他人是如何做的,或者是否有一种绕过方式(或官方方式)来检查。如果可以帮助的话,我不关心单个任务,我正在放置6个不同的任务,并希望知道所有6个任务何时完成。 谢谢!