我正在使用celery进行分布式任务处理。我想将我的项目部署到Web主机上,以展示其工作过程。那么,我该如何让djcelery在django中使用数据库(sqlalchemy)作为后端,而不是rabbitmq或其他amqp服务器?
我正在使用Django开发我的新网站,基本上是一个Quora的克隆。假设我有一个问题并且下面有一个Upvote按钮。如果约有8-9k人同时点击了该Upvote按钮(相同的问题),我该如何处理?我正在使用Nginx作为前端服务器和Apache作为后端服务器?我应该使用什么来处理这种负载量? 如...
我目前正在将一个长时间运行的任务转移到任务队列中,在数据存储区中计算NDB实体之间的连接。 基本上,这个队列处理几个实体键列表,这些列表需要通过GetConnectedNodes节点中的node_in_connected_nodes函数与另一个query相关联: class GetConn...
有没有一种方法可以在GAE上的任务队列中保证FIFO(先进先出)行为? GAE文档表示,FIFO是影响任务执行顺序的因素之一,但同一文档还说,“系统的调度可能会将新任务‘跳到’队列的头部”,我已经通过测试确认了这种行为。效果是:我的事件被无序处理。 文档说明: https://devel...
几乎同步的工作也可以; 基本上,我想将Web应用程序后面的数据访问和处理委托给任务队列来完成大部分工作。对于celery任务,我可以考虑什么样的最快延迟是合理的? 更新(以澄清为准) 我猜为了清晰起见,我应该解释一下吞吐量——虽然很好——但对我来说不是必要问题;在一段时间内,我不需要朝着那...
什么是处理在Celery中执行的结果较大任务的最佳方法?我考虑的是像表转储之类的东西,其中我可能会返回数百兆字节的数据。 我想,把消息塞进结果数据库的天真方法在这里行不通,更不用说如果我使用AMQP作为结果后端。然而,有些情况下延迟是一个问题;根据导出的特定实例,有时我必须阻塞直到它返回并直...
我在networkx中有一个有向无环图。每个节点代表一个任务,节点的前置节点是任务依赖关系(给定任务必须等到其依赖项执行完才能执行)。 我想要在异步任务队列中“执行”图,类似于celery提供的功能(这样我就可以轮询作业的状态、检索结果等)。Celery不提供创建DAG的能力(据我所知),而...
我正在尝试运行Python的Huey任务队列(它是Celery的替代品),但我无法使用main.Configuration启动消费者(正如教程中所写)。我知道huey_consumer在某个地方查找配置文件,但我不能按照教程使其工作,也不知道为什么要编写一个配置文件并将其作为模块加载(而不是文...