我被要求评估 RabbitMQ 而不是 Kafka,但很难找到一种情况,在这种情况下消息队列比 Kafka 更适合。有人知道在吞吐量、耐用性、延迟或易用性方面使用消息队列更好的用例吗?
我开始学习Kafka。在阅读过程中,我有一些问题: 当生产者生产消息时,它会指定要发送消息的主题。是这样吗?它是否关心分区? 当订阅者运行时,它是否指定其组ID,以便成为相同主题或该消费者组感兴趣的多个主题的消费者集群的一部分? 每个消费者组在代理上都有一个对应的分区,还是每个消费者都...
虽然我之前遇到过Kafka,但我最近才意识到 Kafka 可能被用作(基础)CQRS、eventstore。 Kafka 支持的主要功能之一: 事件捕获/存储,当然全部都是高可用的。 发布/订阅体系结构 能够重放事件日志,这使得新的订阅者在事后注册系统成为可能。 诚然,我并不完全了解...
我对Kafka比较新,已经进行了一些实验,但是关于消费者偏移量有几个问题不太清楚。从目前为止我所理解的是,当消费者启动时,它将开始读取的偏移量由配置设置auto.offset.reset决定(如果我错了请纠正我)。 现在假设在主题中有10条消息(偏移量为0到9),在消费者停止运行之前(或在我杀...
我将一条过大的消息推送到了本地机器上的kafka消息主题中,现在我遇到了一个错误:kafka.common.InvalidMessageSizeException: invalid message size 增加fetch.size在这里并不理想,因为我实际上不想接受那么大的消息。
我正在尝试使用Kafka。 所有配置都已正确完成,但当我尝试从控制台生成消息时,我不断收到以下错误WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILA...
KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serializ...
当我使用新服务(如非关系型数据库或消息队列)时,我首先想到的是:“如何组织我的数据结构?” 我阅读并观看了一些入门资料。例如,参考Kafka:用于日志处理的分布式消息系统,该文写道: "Topic 是与消息相关联的容器" "最小的并行单元是主题的 partition。这意味着所有属于主题...
我使用Java Producer API将String消息发送到Kafka V. 0.8。如果消息大小约为15 MB,我会收到MessageSizeTooLargeException异常。我尝试将message.max.bytes设置为40 MB,但仍然收到异常。小消息没有问题。 这个异常出...