如何将Kafka中的日期写入Cassandra是最佳方式?我期望这已经是一个解决的问题,但似乎没有标准的适配器。许多人似乎在使用Storm从Kafka读取数据,然后将其写入Cassandra,但是对于简单的ETL操作,Storm似乎有点过度。
我们在IT技术中频繁使用Kafka和Cassandra,通过Storm处理。我们选择Storm的原因是:- 在消息结果到达Cassandra之前,通常需要进行许多分布式处理(节点间),而Storm的Bolt拓扑结构非常适合这种情况。 - 我们不需要自己维护Kafka的消费者状态(偏移量)- 当Storm确认了所有原始消息后,Storm-Kafka连接器会为我们完成这个任务。 - Storm天生就能让消息处理分布在各个节点上。否则,如果只是一个非常简单的情况,您可以直接从Kafka读取消息并将结果写入Cassandra,而无需借助Storm。
最近发布的Kafka版本引入了连接器概念,以支持源和汇作为设计中的一等概念。因此,您不需要任何流媒体框架来移动数据进出Kafka。这是一个适用于Kafka的Cassandra连接器,您可以使用:https://github.com/tuplejump/kafka-connect-cassandra