Kafka内存需求

Question

7

我是一名kafka的初学者。

我们正在为处理每秒17,000个大小为600字节的事件的5节点kafka集群进行调整。我们计划进行3次复制，并保留1周的事件记录。

我在kafka文档页面上阅读到了这些信息。

    assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30.

那么“write throughout”是什么意思？如果它表示每秒传输的兆字节数，那我看到的是9960MB/秒。

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30 )

那么292GB代表一个节点还是整个集群（5个节点）的内存需求？

我真的很希望能够了解内存和磁盘的大小。

问候 VB

- Suren Baskaran

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Lundahl · Accepted Answer

如果您的消息大小为600字节，每秒发送17k条，则您的吞吐量将约为10MB/s [17000 * 600 /（1024 * 1024）]。如果您对主题进行分区并使用5个代理，拥有3个副本，则每个代理需要6MB/s的缓冲，这在任何正常硬件上都不应该成为问题。缓冲30秒将需要180MB的内存。

如果您的意思是消息大小为600KB，则需要添加大量非常快的存储才能达到6GB/s，实际上增加群集节点的数量会更好。