67得票7回答
AWS S3 Select和AWS Athena有什么区别?

我正在尝试了解AWS Athena服务和新发布的S3 Select(仍在预览中)之间的区别。 这两者的用例有何不同?它们似乎都帮助从S3中选择部分数据。

28得票2回答
S3 Select可以搜索多个对象吗?

我正在测试 S3 Select,根据示例理解,您可以将单个对象(CSV或JSON)视为数据存储。 我想要每个S3对象只有一个JSON文档,并将整个存储桶作为“数据库”进行搜索。我将每个“文件”保存为<ID>.json,每个文件都具有相同的架构。 是否可以在单个调用中搜索多个对象...

13得票3回答
从S3流式传输/分块csv文件到Python

我打算在S3中存储的非常大的csv文件上执行一些占用内存的操作,使用Python,并打算将脚本移动到AWS Lambda。我知道我可以将整个csv文件读入内存,但是对于这样一个大文件,我肯定会遇到Lambda的内存和存储限制,是否有办法使用boto3 / botocore以流式传输的方式或一次...

11得票1回答
S3 select 价格如何计算?S3 select 中返回和扫描的数据是什么意思?

我有一百万行CSV数据。选择10行,是否只会收费10行?S3 Select中的“返回的数据”和“扫描的数据”是什么意思? S3 Select这些术语的文档相对较少。

11得票1回答
AWS S3 Select可以用于多个文件吗?

我正在使用S3选择功能从S3桶中的文件查询对象,但不确定是否可以同时查询多个文件,或者这种方法只能针对单个文件。我已经编写了一个使用AWS Lambda从文件中提取数据的查询,但是当我尝试为另一个文件编写查询时,系统提示错误信息。

9得票3回答
AWS CLI用于S3 Select。

我有以下代码,用于在位于S3存储桶中的关键文件上运行SQL查询。这运行得很完美。我的问题是,我不希望将输出写入输出文件。我能否在屏幕上看到输出(我的首选项#1)?如果不能,那么是否可以追加到输出文件中而不是覆盖它(我的首选项#2)。 我正在使用AWS-CLI二进制文件来运行此查询。如果有其他方...

9得票2回答
AWS S3 SELECT WebUI错误: "文件中找到带引号的记录分隔符"

我试图在AWS S3 SELECT Web UI中进行CSV文件的选择查询,但是遇到了以下错误信息: Quoted record delimiter found in the file. To allow quoted record delimiters, please set AllowQ...

8得票3回答
S3选择CSV头

我正在使用 S3 Select 从 S3 存储桶读取 CSV 文件,并将其输出为 CSV 格式。但是在输出结果中,我只能看到行,却没有标题。如何让输出结果包含标题呢? import boto3 s3 = boto3.client('s3') r = s3.select_object_co...