我在想Kafka主题中可能有哪些类型的数据。
据我所知,在应用程序级别,这是键值对,可以是语言支持的任何类型的数据。
例如,我们向主题发送一些消息,它们可能是json、parquet文件、序列化数据,或者我们只能像处理纯文本格式一样操作这些消息吗?
感谢您的帮助。
我在想Kafka主题中可能有哪些类型的数据。
据我所知,在应用程序级别,这是键值对,可以是语言支持的任何类型的数据。
例如,我们向主题发送一些消息,它们可能是json、parquet文件、序列化数据,或者我们只能像处理纯文本格式一样操作这些消息吗?
感谢您的帮助。
根据你所谈论的是API、线路协议还是磁盘存储,有各种不同的消息格式。
这些Kafka消息格式中的一些在此处的文档中进行了描述。
https://kafka.apache.org/documentation/#messageformat
Kafka有序列化/反序列化或SerDes(发音为Sir-Deez)的概念。
https://en.m.wikipedia.org/wiki/SerDes
一个序列化器是一个函数,它可以接受任何消息并将其转换为使用Kafka协议在线路上传输的字节数组。在这个话题中,它始终只是序列化数据。序列化发生在生产者发送之前,而反序列化则在消费者获取之后进行。序列化器和反序列化器是可插拔的,因此如您所说,在应用程序级别上,它是任何数据类型的键值对。