Python的作业队列实现

Question

14

你知道/使用过哪些Python的分布式作业队列？能分享一些链接或工具吗？

- user90150

9个回答

4

除了多进程外，如果您使用Django，还有Celery项目。

- Vinay Sajip

谢谢提供链接。它是否仅限于Django使用？我们能否将其用于标准的Python项目中？ - user90150

我认为没有问题，只要进行适当的调整（不确定需要多少工作量 - 这取决于您的具体要求）。 - Vinay Sajip

Celery有一个底层库叫做Carrot，你可以在不使用Django的情况下使用它。 - Alex Gaynor

1

Celery和Carrot都可以在没有Django的情况下工作。换句话说，你可以在Django项目之外使用它们。最近甚至有人实现了paste支持：http://bitbucket.org/twillis/celery-paste/ - asksol

1

Celery现在被设计成可以在Django之外使用（但如果需要，仍然支持Django）。 - Matthew Wilcoxson

3

这里还有 Sylvain Hellegouarch 的 "bucker"，你可以在这里找到：

它自我描述如下：

bucker 是一个队列系统，支持多种队列存储方式（目前支持 memcached 和 Amazon SQS），并通过 TCP 连接发送 XML 消息来驱动客户端和队列服务器之间的通信。

- Michael Sparks

2

redqueue是什么？它是用Python + Tornado框架实现的，支持Memcached协议，并可选择将数据持久化到日志文件中。目前，它还可以像beanstalkd一样，在Memcache协议中使用保留/删除方式。

- superisaac

目前，我一直在使用celery。我会看看redqueue。谢谢回答。 - user90150

2

看一下beanstalkd。

- nos

2

如果您认为Celery过于复杂，则可以考虑使用简单的分布式任务队列：

- versale

1

虽然已经晚了一年，但这是我编写的一个东西，可以将进程排队，每次只执行X个。http://github.com/goosemo/job_queue

- Morgan

-1

你可能想要查看多进程队列(multiprocessing's Queue)。它包含在Python 2.6中，对于早期版本的Python可以在PyPI上获取。

- djc

-3

还有Unix的'at'。

更多信息请参考： man at

- mac2017

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- optixx · Accepted Answer

Pyres是一个用Python构建的Resque克隆。Resque被Github用作它们的消息队列。这两者都使用Redis作为队列后端并提供基于Web的监控应用程序。