ZeroMQ、RabbitMQ和Apache Qpid之间的性能比较

Question

ZeroMQ、RabbitMQ和Apache Qpid之间的性能比较

message-queuerabbitmqzeromqqpid

85

1. 有没有人运行过类似的消息队列性能比较？我想将我的结果与你们的结果进行对比。

有什么方法可以调整 RabbitMQ 或者 Qpid 来提高其性能？

注意：

测试是在一个虚拟机上进行的，配备了两个处理器。结果可能因不同硬件而异，然而我主要关心 MQ 产品的相对性能。

- ahsankhan

5

我几个月前进行了简单的测试，结果类似。我发现当与RabbitMQ或Qpid配合使用时，系统相当空闲。我认为一定有什么问题。 - Gary Shi

RabbitMQ: 接收10,000条消息大约需要12秒钟。根据我们自己的测试，每个CPU通常可以看到20-25,000 / sec的进程速度。因此，您可能做错了什么，或者使用了一个较慢的客户端。您是否尝试通过电子邮件向rabbitmq-discuss提问？ - user1021067

1

以下是一篇很好的比较文章，发布于2013年4月10日：http://x-aeon.com/wp/2013/04/10/a-quick-message-queue-benchmark-activemq-rabbitmq-hornetq-qpid-apollo/ - Daniel F

3

这里有“RabbitMQ、Kafka、HornetQ、ActiveMQ、SQS和Mongo”的最新性能比较数据更新了，您可以在此链接查看：https://softwaremill.com/mqperf/ - adamw

2

在进行此测试时，每条消息有多少字节？ - arsenal

显示剩余2条评论

7个回答

33

当然，ZeroMQ会更快，因为它是为此目的而设计的，并且没有其他两种提供的基于代理的功能。 ZeroMQ网站进行了代理与无代理消息传递的精彩比较，并且列出了二者的缺点和优势。

RabbitMQ博客:

RabbitMQ和0MQ专注于消息传递的不同方面。 0MQ更加关注消息如何通过网络传输。另一方面，RabbitMQ则着眼于消息的存储、过滤和监控。

（我也喜欢上述RabbitMQ帖子，因为它还讨论了如何使用ZeroMQ与RabbitMQ）

所以，我的意思是你应该根据自己的需求选择最合适的技术。如果唯一的需求是速度，则选择ZeroMQ。但是，如果您需要消息持久性、过滤、监控、故障转移等其他方面，那么就需要考虑RabbitMQ和Qpid。

- Steve Casey

4

ZeroMQ没有中间人。你需要将中间人作为应用程序整体设计的一部分来设计，并让你的中间人监听 ZeroMQ，在消息到达其目的地时进行适当的路由。ZeroMQ只完成一个任务，但它做得非常好：消息排队。有一个名为 Malamute 的东西，这是由 ZeroMQ 的开发人员为 ZeroMQ 设计的中间人实现，但它并不是 ZeroMQ 的默认部分。它是一个你可以在自己的进程或专门用于消息代理的单独计算机上安装的服务。这是一个独立的项目。https://github.com/zeromq/malamute - Neil Davis

1

是的，我说过它没有经纪人，并链接到了一个关于经纪人与无经纪人的文章。这不清楚吗？此外，当我在2011年发布这个答案时，还没有Malamute，它是在2014年10月出现的。 - Steve Casey

5

我在使用ZeroMQ中的代理而不是peer to peer通信，以使与使用代理的其他消息队列实现的性能比较公平。如果您只关心性能，那么没有必要让竞争环境变得公平。如果您不关心持久性、过滤等问题，为什么要付出代价呢？

我也非常谨慎地在虚拟机上运行基准测试——有许多额外的层可以以不明显的方式影响结果。(当然，如果您打算在VM上运行实际系统，那么这是一种非常有效的方法)。

- WallStProg

3

我测试过c++/qpid。

我在两台不同的机器之间长时间发送了50000条消息，没有任何排队。

我没有使用fanout，只是一个简单的交换（非持久化消息）。

你是否使用持久化消息？

你是否解析这些消息？

我想应该不会，因为0MQ没有消息结构。

如果代理主要处于空闲状态，则可能尚未在发送器和接收器上配置预取。这对于发送许多消息非常重要。

- joseluis

我正在使用非持久队列，我不解析消息，实际上我使用相同的代码为所有三个队列实验生成消息。将交换机类型更改为直接并没有对性能产生影响。此外，在使用发件人流控制（api sender.SetCapaclity(8)）之后，时间变得更糟。如果没有发送者流控制，则队列似乎会无限增长。在测量时间时，您是否等待接收所有消息并完全排空队列？ - ahsankhan

1

我发现qpid-perftest程序正在使用Qpid的“旧消息API”。在我的测试中，切换到旧的API使性能提高了10倍。 - ahsankhan

1

我们已经将RabbitMQ与我们的SocketPro（http://www.udaparts.com/）持久消息队列在http://www.udaparts.com/document/articles/fastsocketpro.htm进行了源代码对比。以下是我们在RabbitMQ中获得的结果：

同一台机器上的入队和出队：

"Hello world" - 入队：每秒30000条消息；出队：每秒7000条消息。

1024字节的文本 - 入队：每秒11000条消息；出队：每秒7000条消息。

10 * 1024字节的文本 - 入队：每秒4000条消息；出队：每秒4000条消息。

跨机器入队和出队，网络带宽为100 mbps:

"你好世界" --
入队：每秒28000条消息；
出队：每秒1900条消息。

1024字节的文本 --
入队：每秒8000条消息；
出队：每秒1000条消息。

10 * 1024字节的文本 --
入队：每秒800条消息；
出队：每秒700条消息。

- user4006286

0

我们开发了一个基于ZeroMQ的开源消息总线 - 最初是为了替换Qpid。它是无代理的，所以这不是完全公平的比较，但它提供了与代理解决方案相同的功能。

我们的主要性能指标是两台机器之间每秒处理140K条消息，但您可以在此处查看更多详细信息：https://github.com/Abc-Arbitrage/Zebus/wiki/Performance

- Slugart

0

尝试在发送方和接收方上配置预取，值为100。仅对发送方进行预取是不够的。

- jale

从qpid的印象中，Receiver.setCapacity（100）设置了接收器的预取。在执行此操作后，“new qpid api”代码的性能提高了10倍，并且性能与Qpid旧消息API类似。我已经更新了帖子并公布了结果。但是，Qpid仍然比rabbitmq慢4倍。 - ahsankhan

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Pieter Hintjens · Accepted Answer

RabbitMQ可能对这些消息进行了持久化。我认为您需要设置消息优先级或另一个选项来不进行持久化。然后性能将提高10倍。您应该至少期望通过AMQP代理每秒传递100K条消息。在OpenAMQ中，我们的性能达到了300K条消息/秒。

AMQP旨在实现速度（例如，它不按顺序解包消息以进行路由），但是ZeroMQ在关键方面的设计更好。例如，通过连接节点而不使用代理程序来删除跳跃；它比任何AMQP客户端堆栈都做得更好的异步I/O; 它执行更积极的消息批处理。也许60%的时间花在了ZeroMQ的性能调整上。那是非常辛苦的工作。它不是偶然变得更快。

我想做一件事，但是太忙了，就是在ZeroMQ之上重新创建类似于AMQP的代理程序。这里有一个第一层： http://rfc.zeromq.org/spec:15。整个堆栈的工作方式有点像RestMS，将传输和语义分离为两个层次。它将提供与AMQP/0.9.1相同的功能（并且在语义上是互操作的），但速度显著更快。