你知道/使用过哪些Python的分布式作业队列?能分享一些链接或工具吗?
Pyres是一个用Python构建的Resque克隆。Resque被Github用作它们的消息队列。这两者都使用Redis作为队列后端并提供基于Web的监控应用程序。
除了多进程外,如果您使用Django,还有Celery项目。
这里还有 Sylvain Hellegouarch 的 "bucker",你可以在这里找到:
它自我描述如下:
redqueue是什么? 它是用Python + Tornado框架实现的,支持Memcached协议,并可选择将数据持久化到日志文件中。 目前,它还可以像beanstalkd一样,在Memcache协议中使用保留/删除方式。
你可能想要查看多进程队列(multiprocessing's Queue)。它包含在Python 2.6中,对于早期版本的Python可以在PyPI上获取。
标准库文档:http://docs.python.org/library/multiprocessing.html PyPI上的链接:http://pypi.python.org/pypi/multiprocessing