使用 Google Cloud Functions 运行长时间运行的 Python 进程

4

我正在尝试在Google Cloud中运行一个Python脚本,每天会下载50GB的数据到存储桶。这个下载可能会超过Google Cloud Functions的超时限制,该限制设置为9分钟。 触发调用Python函数的请求是由HTTP触发的。

有没有办法解决这个问题?我不需要运行HTTP Restful服务,因为它只是从外部源单次调用一次。(无法安排计划)。

整个前提是直接将大量数据下载到云中。感谢任何建议。

2个回答

3

云函数的最长执行时间为9分钟,无法超过此限制。如果你无法将工作分成小单元以适应每个函数调用,请考虑使用其他产品。Cloud Run限制为15分钟,而Compute Engine没有适用于您的限制。


-1

Google Cloud Scheduler 可能适合这个任务。

这是一篇不错的谷歌博客文章,展示了如何设置 Python 脚本的示例。

p.s. 你可能想将其连接到 App Engine 进行实际执行。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接