我正在努力实现Spark Streaming技术。
Kafka传来的信息是这样的,但包含了更多的字段。
{"event":"sensordata", "source":"sensors", "payload": {"actual data as a json}}
{"event":"databasedata", "mysql":"sensors", "payload": {"actual data as a json}}
{"event":"eventApi", "source":"event1", "payload": {"actual data as a json}}
{"event":"eventapi", "source":"event2", "payload": {"actual data as a json}}
我正在尝试从Kafka主题中读取消息(该主题具有多个模式)。我需要读取每个消息并查找事件和源字段,并决定将其存储为数据集。实际数据在负载字段中作为JSON存在,仅为单个记录。
有人能帮我实现这个或其他替代方案吗?
将具有多个模式的消息发送到同一主题并进行消费是否是一个好方法?
提前致谢,