31得票8回答
如何使用Boto3的get_query_results方法从AWS Athena创建数据框(Dataframe)

我正在使用AWS Athena从S3查询原始数据。由于Athena将查询输出写入S3输出存储桶,因此我过去常做以下操作: df = pd.read_csv(OutputLocation) 但这似乎是一种昂贵的方法。最近我注意到了boto3的get_query_results方法,它返回一...

31得票5回答
雅典娜与Redshift Spectrum的比较

我正在评估 Athena 和 Redshift Spectrum。这两者都有同样的目的,Spectrum需要一个Redshift集群,而Athena是纯无服务器的。Athena使用Presto查询引擎,而Spectrum使用Redshift的引擎。 那么Athena和Redshift Spe...

29得票1回答
AWS Athena时间戳SQL查询错误

我在AWS Athena上有一个表,其中有一个名为“servertime”的列,数据类型为时间戳。我运行了以下查询:select * from table_name where servertime between '2018-04-01 00:00:00' and '2018-04-05...

28得票2回答
亚马逊 Athena - 如何将时间戳转换为日期?

查看 日期/时间 Athena 文档,我没有找到一个能够完成这个任务的函数,这令我感到惊讶。最接近的函数是date_trunc('week', timestamp),但它返回的结果格式为2017-07-09 00:00:00.000,而我需要的格式是2017-07-09。 有没有一种简单的函...

28得票7回答
以编程方式创建AWS Athena视图

Can you create views in Amazon Athena?介绍了如何使用用户界面创建视图。 我想要以编程方式创建AWS Athena视图,最好使用Terraform(调用CloudFormation)。 我遵循了这里概述的步骤:https://ujjwalbhardwaj...

27得票1回答
在Athena中随机抽取大小为N的样本

我想从 Athena 中获取 N 行的随机样本。但由于我想要抽取样本的表很大,所以朴素的方法 SELECT id FROM mytable ORDER BY RANDOM() LIMIT 100 运行时间很长,可能是因为ORDER BY需要将所有数据发送到单个节点,然后对数据进行洗牌和排序。...

25得票4回答
如何在 Presto(Athena)中将字符串转换为时间戳?

我想把字符串类型的数据转换为时间戳(例如:'2018-03-27T00:20:00.855556Z'),格式为(例如:'2018-03-27 00:20:00')。实际上,我在 Athena 中执行了查询:select * from tb_name where elb_status_code ...

24得票1回答
AWS Athena对于API来说速度太慢了吗?

计划是从aws数据交换获取数据,将其移动到s3存储桶中,然后通过aws athena查询它以获取数据API。一切都运行良好,只是感觉有点慢。 无论数据集还是查询,我无法在athena响应时间低于2秒。对于API来说,这太多了。我检查了最佳实践,但似乎那些也超过2秒。 所以我的问题是: at...

24得票2回答
亚马逊 Athena 将字符串转换为日期

我想要将以下字符串转换为日期格式:mmm-dd-yyyy 转为 yyyy-mm-dd 例如: Nov-06-2015 转为 2015-11-06 在 Amazon Athena 中实现。

23得票1回答
阿thena:查询在比例因子下耗尽的资源

我正在运行以下查询:SELECT f.*, p.countryName, p.airportName, a.name AS agentName FROM ( SELECT f.outboundlegid, f.inboundlegid, ...