我有一个Spark批处理作业，每小时执行一次。每次运行会生成并存储新数据到S3，目录命名模式为DATA/YEAR=?/MONTH=?/DATE=?/datafile。
上传数据到S3后，我想使用Athena进行调查研究。此外，我还希望通过将Athena连接到QuickSight作为数据源来对其进行可视化。
问题是，每次运行我的Spark批处理后，存储在S3中的新生成数据，除非我手动运行查询MSCK REPAIR TABLE，否则Athena不会发现它们。
是否有办法使Athena自动更新数据，以便我可以创建完全自动化的数据可视化流程？
有多种方法可以安排此任务。您如何安排工作流程？您是否使用类似于Airflow、Luigi、Azkaban、cron或使用AWS数据管道的系统？
从这些选项中，您应该能够触发以下CLI命令。
$ aws athena start-query-execution --query-string "MSCK REPAIR TABLE some_database.some_table" --result-configuration "OutputLocation=s3://SOMEPLACE"
另一个选项是AWS Lambda。您可以编写一个函数，在S3上上传新文件时调用MSCK REPAIR TABLE some_database.some_table。
例如，可以编写如下的Lambda函数：
import boto3
def lambda_handler(event, context):
bucket_name = 'some_bucket'
client = boto3.client('athena')
config = {
'OutputLocation': 's3://' + bucket_name + '/',
'EncryptionConfiguration': {'EncryptionOption': 'SSE_S3'}
}
# Query Execution Parameters
sql = 'MSCK REPAIR TABLE some_database.some_table'
context = {'Database': 'some_database'}
client.start_query_execution(QueryString = sql,
QueryExecutionContext = context,
ResultConfiguration = config)
您需要配置触发器，在您的存储桶下 DATA/ 前缀添加新数据时执行 Lambda 函数。
最终，在使用作业调度程序运行 Spark 作业后显式重建分区具有自说明性的优势。另一方面，AWS Lambda 对于像这样的作业非常方便。
MSCK REPAIR TABLE命令：http://boto3.readthedocs.io/en/latest/reference/services/athena.html#Athena.Client.start_query_execution - RobinL你应该使用 ADD PARTITION 命令来运行：
aws athena start-query-execution --query-string "ALTER TABLE ADD PARTITION..."
这将从您的S3位置添加新创建的分区。Athena利用Hive对数据进行分区。要创建带有分区的表，必须在CREATE TABLE语句中定义它。使用PARTITIONED BY来定义按哪些键分区数据。
解决问题并更新表格的方法有多种：
调用MSCK REPAIR TABLE。这将扫描所有数据。由于每个文件都要完全读取（至少由AWS完全收费），因此代价很高，速度也非常慢。简而言之：不要这样做！
通过调用ALTER TABLE ADD PARTITION abc ...自行创建分区。这在某种程度上很好，因为没有扫描任何数据，成本也很低。查询也很快，所以这里没有问题。如果您的文件结构非常混乱而没有任何共同的模式（这似乎不是您的情况，因为它是一个精心组织的S3键模式）。但该方法也有缺点：A）很难维护 B）所有分区都必须存储在GLUE目录中。当您有大量分区时，这可能会成为问题，因为它们需要被读取并传递给Athena和EMRs Hadoop基础设施。
使用分区投影。有两种不同的风格可供评估。以下是创建Hadoop分区的变体，这意味着没有GLUE目录条目通过网络发送，因此可以更快地处理大量分区。缺点是可能会“命中”一些不存在的分区。当然，这些将被忽略，但内部将生成所有可能与您的查询匹配的分区-无论它们是否在S3上（因此始终向查询添加分区过滤器！）。如果正确执行，则此选项是一种"fire and forget"方法，因为不需要更新。
CREATE EXTERNAL TABLE `mydb`.`mytable`
(
...
)
PARTITIONED BY (
`YEAR` int,
`MONTH` int,
`DATE` int)
...
LOCATION
's3://DATA/'
TBLPROPERTIES(
"projection.enabled" = "true",
"projection.account.type" = "integer",
"projection.account.range" = "1,50",
"projection.YEAR.type" = "integer",
"projection.YEAR.range" = "2020,2025",
"projection.MONTH.type" = "integer",
"projection.MONTH.range" = "1,12",
"projection.DATE.type" = "integer",
"projection.DATE.range" = "1,31",
"storage.location.template" = "s3://DATA/YEAR=${YEAR}/MONTH=${MONTH}/DATE=${DATE}/"
);
https://docs.aws.amazon.com/zh_cn/athena/latest/ug/partition-projection.html
列出所有的选项：您也可以使用GLUE爬虫。但是它不像广告中宣传的那样灵活，似乎不是一个优选方案。
如果您有许多自动化脚本来准备表格，则使用Glue Data Catalog API 直接更加灵活。这可能是方法#2的替代方法。
简而言之：