247得票27回答
领导者不可用 - 控制台生产者中的Kafka

我正在尝试使用Kafka。 所有配置都已正确完成,但当我尝试从控制台生成消息时,我不断收到以下错误WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILA...

46得票1回答
快速和最佳的生产者/消费者队列技术:BlockingCollection vs ConcurrentQueue。

我正在使用 C# 3.0 中的 Generic.Queue 和 Monitor.Enter、Wait、Exit 来在消耗队列之前等待(等待元素入队)。现在我要转移到 C# 4。请问有人能建议我哪种方法更快更好,尤其是为了避免锁定...是 BlockingCollection 还是 Concur...

21得票5回答
Spring Kafka异步发送调用会阻塞

我正在使用Spring-Kafka 1.2.1版本,当Kafka服务器宕机/无法访问时,异步发送调用会阻塞一段时间。这似乎是TCP超时的问题。代码类似于:ListenableFuture<SendResult<K, V>> future = kafkaTemplate....

21得票5回答
与位于docker主机外部的kafka docker容器进行交互

我已经构建了一个 Kafka 的 Docker 容器,并使用 docker-compose 进行编排。 运行 docker ps 命令后,我得到如下输出:CONTAINER ID IMAGE COMMAND ...

20得票3回答
理解 Kafka 生产者中的 max.inflight 属性

我正在使用Kafka 1.0.0-cp1版本的群集。 在我专注于最大吞吐量、有序保证和没有数据丢失的负载测试中(仅涉及一个分区的主题),我是否需要将max.in.flight.requests.per.connection属性设置为1? 我已经阅读了这篇文章 我理解,只有当我在生产者端启用...

16得票2回答
Spring DI中与CDI的InjectionPoint相当的是什么?

我想创建一个Spring的bean生成方法,该方法能意识到调用它的对象,因此我已经编写了以下代码:@Configuration public class LoggerProvider { @Bean @Scope("prototype") public Logger ...

14得票3回答
生产消息时找不到主题:未知的主题或分区。

我有一个包含两个节点的Kafka集群(EC2实例),其中每个节点都用作单独的Broker。 当我在Leader实例上使用以下命令运行生产者时:kafka-console-producer.sh --broker-list localhost:9092 --topic test 我遇到以下错...

8得票4回答
使用数据库(MySql)的生产者/消费者系统,这种方法可行吗?

我需要使用“某物”来协调我的系统与运行在不同操作系统上的多个消费者/生产者之间的通信。我一直在研究使用MySql来实现这一点,但似乎非常困难。 我的要求很简单:我希望能够随时添加或删除消费者/生产者,因此它们不应相互依赖。自然地,数据库可以很好地将它们分离开来。 我一直在研究用于MySql...

7得票1回答
RabbitMQ - 按优先级消费多个队列

我有一个升级我们生产者/消费者基础设施的需求。 当前设置如下: 一组具有不同优先级(低、中、高)的队列。 当我们的客户生成任务时(如处理图像): 生产者将消息添加到相关队列中。 其中一个工作进程对其进行处理。 这种方法的问题在于,如果一个客户生成大量任务,则可能会占用队列中所有...