我在谷歌搜索并阅读Kafka文档,但我无法找到消费者偏移量的最大值以及在最大值之后是否存在偏移量环绕。
我了解偏移量是一个Int64值,因此最大值为0xFFFFFFFFFFFFFFFF。
如果存在环绕,Kafka如何处理这种情况?
我在谷歌搜索并阅读Kafka文档,但我无法找到消费者偏移量的最大值以及在最大值之后是否存在偏移量环绕。
我了解偏移量是一个Int64值,因此最大值为0xFFFFFFFFFFFFFFFF。
如果存在环绕,Kafka如何处理这种情况?
此时我们不会回滚偏移量。由于偏移量是一个长整型数值,它可以持续很长一段时间。如果你每天写1TB,你可以持续约400万天。
而且,你总是可以使用更多的分区(每个分区都有自己的偏移量)。
所以就像Luciano说的那样,可能不值得担心。
看起来这并没有真正“处理”。但是,考虑到偏移量是每个分区的,似乎我们不必担心这个问题 :)
请参见http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded