我们正在尝试评估Kafka并替换我们软件中的Rabbit Mq。
我们知道在离线消费、巨大的持久性、出色的性能、低延迟和高吞吐量方面,Kafka相对于RabbitMq具有优势。
但是,我们需要像RabbitMq一样具有主题交换的细粒度路由功能,以便进行异构消费。
在某种程度上,我们可以通过在Kafka中有更多的分区来实现这一点。但它有它自己的局限性,例如znode上主题元数据的开销和增加延迟。
我们的用例是在分区内过滤数据。假设您在一个分区中获取100个相似类型的传感器数据。消费者是否有能力仅选择其中几个传感器数据并忽略其余的数据。
我们可以在应用程序(消费者)端进行过滤/路由,但这似乎不可重用并且在每个消费者端都会增加额外的开销。
Kafka是否有任何方式通过拥有适当数量的分区来提供丰富的路由功能?
谢谢, Ashish
我们知道在离线消费、巨大的持久性、出色的性能、低延迟和高吞吐量方面,Kafka相对于RabbitMq具有优势。
但是,我们需要像RabbitMq一样具有主题交换的细粒度路由功能,以便进行异构消费。
在某种程度上,我们可以通过在Kafka中有更多的分区来实现这一点。但它有它自己的局限性,例如znode上主题元数据的开销和增加延迟。
我们的用例是在分区内过滤数据。假设您在一个分区中获取100个相似类型的传感器数据。消费者是否有能力仅选择其中几个传感器数据并忽略其余的数据。
我们可以在应用程序(消费者)端进行过滤/路由,但这似乎不可重用并且在每个消费者端都会增加额外的开销。
Kafka是否有任何方式通过拥有适当数量的分区来提供丰富的路由功能?
谢谢, Ashish