533得票16回答
何时使用RabbitMQ而不是Kafka?

我被要求评估 RabbitMQ 而不是 Kafka,但很难找到一种情况,在这种情况下消息队列比 Kafka 更适合。有人知道在吞吐量、耐用性、延迟或易用性方面使用消息队列更好的用例吗?

361得票5回答
了解Kafka主题和分区

我开始学习Kafka。在阅读过程中,我有一些问题: 当生产者生产消息时,它会指定要发送消息的主题。是这样吗?它是否关心分区? 当订阅者运行时,它是否指定其组ID,以便成为相同主题或该消费者组感兴趣的多个主题的消费者集群的一部分? 每个消费者组在代理上都有一个对应的分区,还是每个消费者都...

318得票7回答
使用Kafka作为(CQRS)事件存储,是个好主意吗?

虽然我之前遇到过Kafka,但我最近才意识到 Kafka 可能被用作(基础)CQRS、eventstore。 Kafka 支持的主要功能之一: 事件捕获/存储,当然全部都是高可用的。 发布/订阅体系结构 能够重放事件日志,这使得新的订阅者在事后注册系统成为可能。 诚然,我并不完全了解...

274得票3回答
什么决定了Kafka消费者的偏移量?

我对Kafka比较新,已经进行了一些实验,但是关于消费者偏移量有几个问题不太清楚。从目前为止我所理解的是,当消费者启动时,它将开始读取的偏移量由配置设置auto.offset.reset决定(如果我错了请纠正我)。 现在假设在主题中有10条消息(偏移量为0到9),在消费者停止运行之前(或在我杀...

256得票27回答
有没有一种方法可以清除 Kafka 中的主题?

我将一条过大的消息推送到了本地机器上的kafka消息主题中,现在我遇到了一个错误:kafka.common.InvalidMessageSizeException: invalid message size 增加fetch.size在这里并不理想,因为我实际上不想接受那么大的消息。

247得票27回答
领导者不可用 - 控制台生产者中的Kafka

我正在尝试使用Kafka。 所有配置都已正确完成,但当我尝试从控制台生成消息时,我不断收到以下错误WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILA...

184得票3回答
发送消息到Kafka时,是否需要包含密钥?

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serializ...

183得票4回答
使用Kafka进行数据建模?主题和分区

当我使用新服务(如非关系型数据库或消息队列)时,我首先想到的是:“如何组织我的数据结构?” 我阅读并观看了一些入门资料。例如,参考Kafka:用于日志处理的分布式消息系统,该文写道: "Topic 是与消息相关联的容器" "最小的并行单元是主题的 partition。这意味着所有属于主题...

182得票10回答
如何使用Kafka发送大型消息(超过15MB)?

我使用Java Producer API将String消息发送到Kafka V. 0.8。如果消息大小约为15 MB,我会收到MessageSizeTooLargeException异常。我尝试将message.max.bytes设置为40 MB,但仍然收到异常。小消息没有问题。 这个异常出...

179得票17回答
如何在Linux中查找Kafka版本

如何在Linux中查找Kafka版本? 除了在下载时提及版本号之外,是否有其他方法可以查找已安装的Kafka版本?