我正在使用AWS-Kinesis-Firehose将数据注入到S3中,然后使用Athena进行消费。
我正在尝试分析来自不同游戏的事件,为了避免Athena探索大量数据,我想使用每个游戏的标识符对s3数据进行分区,但迄今为止我没有找到解决方案,因为Firehose接收来自不同游戏的数据。
有没有人知道如何做到这一点?
谢谢, Javi。
我正在使用AWS-Kinesis-Firehose将数据注入到S3中,然后使用Athena进行消费。
我正在尝试分析来自不同游戏的事件,为了避免Athena探索大量数据,我想使用每个游戏的标识符对s3数据进行分区,但迄今为止我没有找到解决方案,因为Firehose接收来自不同游戏的数据。
有没有人知道如何做到这一点?
谢谢, Javi。
您可以使用Amazon Kinesis Analytics根据某些逻辑(例如游戏ID)将传入的Firehose数据流拆分为不同的输出流。
Kinesis Analytics可以接受Kinesis Firehose输入并将数据发送到Kinesis Firehose输出。
但是,限制文档似乎表明每个应用程序只能有3个输出目标,因此这可能不足够。