我有一个应用程序,每天会生成1百万到1亿个小的xml文件,我必须将这些文件作为单独的xml文件加载到其中一个S3存储桶中。该S3存储桶链接到CloudFront,以便我们遍布全球的客户可以更快地访问xml文件。
除了费用方面,一切都对我很好。 随着文件数量的增加,S3的put请求成本越来越高。 文件应该在出现时立即推送,并且应该可以从cloudFront访问。
有没有解决方案可以在这里节省我的费用? xml文件的大小最大为2kb。
让我详细说明一些我迄今为止尝试过的点。 我想将所有小的xml文件组合在on-prem上,然后将其推送到S3,但是问题是我们应该在AWS中进行一些计算,以将其提取为单独的xml文件,因为最终用户只接受单独的xml文件。 而提取和创建小文件并再次保存到S3的成本甚至更高。
所以,请随意建议一些适用于此用例的其他系统,而不是S3。 我也尝试过HBASE,但在AWS中运行和管理HBASE是一个问题。 我们还尝试过Dynamo DB,但那也是成本更高。