我正在设计一个应用程序,其中输入是一个大的文本文件(大小范围从1-30 GB),每15分钟上传到S3存储桶。它将文件分成n个小文件,并将这些文件复制到3个不同的AWS区域中的3个不同的S3存储桶中。然后,3个加载器应用程序从各自的S3存储桶中读取这些n个文件,并将数据加载到相应的Aerospike集群中。
我考虑使用AWS Lambda函数来拆分文件以及加载数据。最近我发现了AWS Step Functions,根据我所了解的情况,它也可以实现这一目的。我不确定应该选择哪个,并且哪个在定价方面更便宜。任何帮助都将不胜感激。
提前致谢!