AWS CDK中哪个类具有配置Kinesis传送流动态分区的选项？

Question

AWS CDK中哪个类具有配置Kinesis传送流动态分区的选项？

amazon-s3aws-cdkamazon-kinesisamazon-kinesis-firehose

5

我正在使用Kinesis Delivery Stream将来自Event Bridge的流发送到S3存储桶。但是我似乎找不到哪个类具有配置动态分区选项的选项？

以下是我的交付流代码：

new CfnDeliveryStream(this, `Export-delivery-stream`, {
        s3DestinationConfiguration: {
            bucketArn: bucket.bucketArn,
            roleArn: kinesisFirehoseRole.roleArn,
            prefix: `test/!{timestamp:yyyy/MM/dd}/`

        }
    });

- saif

2

我还没有在aws-cdk中看到动态分区配置选项。但是它在aws-cli和cloudformation中是可用的。 - Ajinkya

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Trygvi Laksafoss · Accepted Answer

我已经在同一个问题上工作了几天，终于找到了解决方案。以下是如何在CDK中实现的示例。简而言之，必须像您所做的那样启用分区，但您需要在所谓的processingConfiguration中设置键和.jq表达式。

我们传入的JSON数据大致如下：

{
    "data": 
        {
        "timestamp":1633521266990,
        "defaultTopic":"Topic",
        "data":
        {
            "OUT1":"Inactive",
            "Current_mA":3.92
        }
    }
}

CDK 代码如下：

const DeliveryStream = new CfnDeliveryStream(this, 'deliverystream', {
  deliveryStreamName: 'deliverystream',
  extendedS3DestinationConfiguration: {
    cloudWatchLoggingOptions: {
      enabled: true,
    },
    bucketArn: Bucket.bucketArn,
    roleArn: deliveryStreamRole.roleArn,
    prefix: 'defaultTopic=!{partitionKeyFromQuery:defaultTopic}/!{timestamp:yyyy/MM/dd}/',
    errorOutputPrefix: 'error/!{firehose:error-output-type}/',
    bufferingHints: {
      intervalInSeconds: 60,
    },
    dynamicPartitioningConfiguration: {
      enabled: true,
    },
    processingConfiguration: {
      enabled: true,
      processors: [
        {
          type: 'MetadataExtraction',
          parameters: [
            {
              parameterName: 'MetadataExtractionQuery',
              parameterValue: '{defaultTopic: .data.defaultTopic}',
            },
            {
              parameterName: 'JsonParsingEngine',
              parameterValue: 'JQ-1.6',
            },
          ],
        },
        {
          type: 'AppendDelimiterToRecord',
          parameters: [
            {
              parameterName: 'Delimiter',
              parameterValue: '\\n',
            },
          ],
        },
      ],
    },
  },
})