如何在RabbitMQ中创建延迟队列?

51
什么是使用Python、Pika和RabbitMQ创建延迟(或停车)队列的最简单方法?我看到过一个类似的问题,但没有针对Python的解答。
在设计应用程序时,我认为这是一个有用的想法,因为它允许我们限制需要重新排队的消息。
您始终可能会收到比您处理的消息更多的消息,也许HTTP服务器速度较慢,或者数据库承受的压力过大。
在一些零容忍丢失消息的场景中,如果出现问题并且无法处理消息,则将消息重新排队可能很有用。但是,这可能会导致消息被重复排队。这可能会导致性能问题和日志垃圾邮件。
6个回答

103

在开发应用程序时,我发现这非常有用,因为它为您提供了一种仅重新排队消息的替代方法。这可以轻松减少代码的复杂性,并且是RabbitMQ中许多强大隐藏功能之一。

步骤

首先,我们需要设置两个基本通道,一个用于主队列,另一个用于延迟队列。在我最后的例子中,我包括了一些不必要但可以使代码更可靠的额外标记,例如confirm deliverydelivery_modedurable。您可以在RabbitMQ 手册中找到有关这些内容的更多信息。

在我们设置通道之后,我们向主通道添加一个绑定,以便我们可以使用它将消息从延迟通道发送到我们的主队列。

channel.queue_bind(exchange='amq.direct',
                   queue='hello')

下一步,我们需要配置延迟通道,使得它在消息过期后将消息转发到主队列。

delay_channel.queue_declare(queue='hello_delay', durable=True,  arguments={
  'x-message-ttl' : 5000,
  'x-dead-letter-exchange' : 'amq.direct',
  'x-dead-letter-routing-key' : 'hello'
})
  • x-message-ttl (消息 - 存活时间)

    通常用于在特定持续时间后自动删除队列中的旧消息,但是通过添加两个可选参数,我们可以更改此行为,并且将此参数确定为以毫秒为单位的消息在延迟队列中停留时间。

  • x-dead-letter-routing-key

    该变量允许我们在消息过期后将其转移到不同的队列而不是完全删除。

  • x-dead-letter-exchange

    此变量确定用于从hello_delay传输消息到hello队列的交换机。

发布到延迟队列

当我们完成设置所有基本 Pika 参数时,只需使用基本发布将消息发送到延迟队列即可。

delay_channel.basic_publish(exchange='',
                      routing_key='hello_delay',
                      body="test",
                      properties=pika.BasicProperties(delivery_mode=2))
执行脚本后,您应该在RabbitMQ管理模块中看到以下队列被创建。 enter image description here 示例。
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
               'localhost'))

# Create normal 'Hello World' type channel.
channel = connection.channel()
channel.confirm_delivery()
channel.queue_declare(queue='hello', durable=True)

# We need to bind this channel to an exchange, that will be used to transfer 
# messages from our delay queue.
channel.queue_bind(exchange='amq.direct',
                   queue='hello')

# Create our delay channel.
delay_channel = connection.channel()
delay_channel.confirm_delivery()

# This is where we declare the delay, and routing for our delay channel.
delay_channel.queue_declare(queue='hello_delay', durable=True,  arguments={
  'x-message-ttl' : 5000, # Delay until the message is transferred in milliseconds.
  'x-dead-letter-exchange' : 'amq.direct', # Exchange used to transfer the message from A to B.
  'x-dead-letter-routing-key' : 'hello' # Name of the queue we want the message transferred to.
})

delay_channel.basic_publish(exchange='',
                      routing_key='hello_delay',
                      body="test",
                      properties=pika.BasicProperties(delivery_mode=2))

print " [x] Sent"

2
当要发布的每条消息具有不同的 TTL 时会发生什么?我该怎么做? - Marconi
1
不应该有太大的区别。只需将TTL移动到消息属性中即可。请随意打开一个新问题并在此处链接它,我会回答它。 - eandersson
1
谢谢,我觉得你已经回答了我的问题,但是在阅读了一些资料后,我发现这种方法并不可靠,因为一个死消息可能会被卡在健康的消息后面,所以即使它们过期了,它们仍然无法移动。 - Marconi
1
我寻找类似的解决方案已经好几个小时了,谢谢你!它完美地运行。"X-"参数应该有更好的文档说明。 - pancakes
5
@ManuelZubieta,在上面链接的RabbitMQ TTL文档中,Per-Message TTL部分的警告子部分解释了过期消息只会从队列头部删除。这似乎使得该答案不适合作为每条消息TTL的可行解决方案。 - Caoilte
显示剩余5条评论

17

您可以使用RabbitMQ官方插件:x-delayed-message

首先,下载并复制ez文件您的RabbitMQ根目录/plugins中。

其次,启用插件(无需重新启动服务器):

rabbitmq-plugins enable rabbitmq_delayed_message_exchange

最后,使用“x-delay”标头发布您的消息,例如:

headers.put("x-delay", 5000);

注意:

这种方案不能保证您的消息安全,因为如果您的消息在rabbitmq-server宕机期间过期,那么消息将会丢失。因此,在使用此方案时请小心

祝使用愉快,更多信息请参见rabbitmq-delayed-message-exchange


8

请注意,如何在Spring 3.2.x中完成此操作。

<rabbit:queue name="delayQueue" durable="true" queue-arguments="delayQueueArguments"/>

<rabbit:queue-arguments id="delayQueueArguments">
  <entry key="x-message-ttl">
    <value type="java.lang.Long">10000</value>
  </entry>
  <entry key="x-dead-letter-exchange" value="finalDestinationTopic"/>
  <entry key="x-dead-letter-routing-key" value="finalDestinationQueue"/>
</rabbit:queue-arguments>


<rabbit:fanout-exchange name="finalDestinationTopic">
  <rabbit:bindings>
    <rabbit:binding queue="finalDestinationQueue"/>
  </rabbit:bindings>
</rabbit:fanout-exchange>

4

NodeJS实现。

从代码中可以看出一切都很清楚。 希望能为某些人节省时间。

var ch = channel;
ch.assertExchange("my_intermediate_exchange", 'fanout', {durable: false});
ch.assertExchange("my_final_delayed_exchange", 'fanout', {durable: false});

// setup intermediate queue which will never be listened.
// all messages are TTLed so when they are "dead", they come to another exchange
ch.assertQueue("my_intermediate_queue", {
      deadLetterExchange: "my_final_delayed_exchange",
      messageTtl: 5000, // 5sec
}, function (err, q) {
      ch.bindQueue(q.queue, "my_intermediate_exchange", '');
});

ch.assertQueue("my_final_delayed_queue", {}, function (err, q) {
      ch.bindQueue(q.queue, "my_final_delayed_exchange", '');

      ch.consume(q.queue, function (msg) {
          console.log("delayed - [x] %s", msg.content.toString());
      }, {noAck: true});
});

1

兔子队列中的消息可以通过两种方式延迟: - 使用队列TTL - 使用消息TTL 如果要将队列中的所有消息都延迟固定时间,请使用队列TTL。 如果每个消息都必须延迟不同的时间,请使用消息TTL。 我使用python3和pika模块进行了解释。 pika BasicProperties参数'expiration'(以毫秒为单位)必须设置为延迟消息在延迟队列中。 设置过期时间后,将消息发布到延迟队列(“不是消费者等待消费的实际队列”),一旦延迟队列中的消息过期,消息将通过交换机'amq.direct'路由到实际队列。

def delay_publish(self, messages, queue, headers=None, expiration=0):
    """
    Connect to RabbitMQ and publish messages to the queue
    Args:
        queue (string): queue name
        messages (list or single item): messages to publish to rabbit queue
        expiration(int): TTL in milliseconds for message
    """
    delay_queue = "".join([queue, "_delay"])
    logging.info('Publishing To Queue: {queue}'.format(queue=delay_queue))
    logging.info('Connecting to RabbitMQ: {host}'.format(
        host=self.rabbit_host))
    credentials = pika.PlainCredentials(
       RABBIT_MQ_USER, RABBIT_MQ_PASS)
    parameters = pika.ConnectionParameters(
       rabbit_host, RABBIT_MQ_PORT,
        RABBIT_MQ_VHOST, credentials, heartbeat_interval=0)
    connection = pika.BlockingConnection(parameters)

    channel = connection.channel()
    channel.queue_declare(queue=queue, durable=True)

    channel.queue_bind(exchange='amq.direct',
                       queue=queue)
    delay_channel = connection.channel()
    delay_channel.queue_declare(queue=delay_queue, durable=True,
                                arguments={
                                    'x-dead-letter-exchange': 'amq.direct',
                                    'x-dead-letter-routing-key': queue
                                })

    properties = pika.BasicProperties(
        delivery_mode=2, headers=headers, expiration=str(expiration))

    if type(messages) not in (list, tuple):
        messages = [messages]

    try:
        for message in messages:
            try:
                json_data = json.dumps(message)
            except Exception as err:
                logging.error(
                    'Error Jsonify Payload: {err}, {payload}'.format(
                        err=err, payload=repr(message)), exc_info=True
                )
                if (type(message) is dict) and ('data' in message):
                    message['data'] = {}
                    message['error'] = 'Payload Invalid For JSON'
                    json_data = json.dumps(message)
                else:
                    raise

            try:
                delay_channel.basic_publish(
                    exchange='', routing_key=delay_queue,
                    body=json_data, properties=properties)
            except Exception as err:
                logging.error(
                    'Error Publishing Data: {err}, {payload}'.format(
                        err=err, payload=json_data), exc_info=True
                )
                raise

    except Exception:
        raise

    finally:
        logging.info(
            'Done Publishing. Closing Connection to {queue}'.format(
                queue=delay_queue
            )
        )
        connection.close()

1
根据您的情况和需求,我建议采用以下方法:

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接