我当前拥有一个PostgreSQL数据库,因为我们正在使用的软件之一仅支持该特定数据库引擎。我有一个查询,它将应用程序中的数据汇总并拆分为更有用的格式。
在我的MySQL数据库中,我有一个包含与上述查询输出相同模式的表格。
我想要开发一个每小时运行的cron作业,它将针对PostgreSQL数据库运行查询,然后将结果插入到MySQL数据库中。在这一小时内,我不希望看到超过10,000个新行(甚至更少),需要转移。
两个数据库位于物理上分离的服务器上,彼此相距很远。MySQL实例运行在Amazon RDS上 - 因此我们对机器本身没有太多控制。PostgreSQL实例运行在我们的服务器中的VM上,使我们具有完全的控制。
不幸的是,复制是必要的,因为PostgreSQL数据库只充当信息的收集者,而MySQL数据库上有一个应用程序需要这些数据。为了简单起见,我们希望每小时从PostgreSQL进行移动/合并和删除以保持清洁。
明确一下 - 我是一个网络/系统管理员 - 不是DBA。我真的不理解在转换一种格式到另一种格式所需的所有复杂性。我知道的是,正在传输的数据包括1个VARCHAR、1个DATETIME和6个BIGINT列。
我猜测一种可能的方法是使用某种脚本语言来进行查询,将结果转换为内部数据结构,然后再将其拆分到MySQL中。
在这样做时,写脚本时应该注意哪些好的或坏的做法?或者 - 我应该查看哪些可能有用于进行此类转换的文档?我找到了许多计划作业似乎非常可管理且有良好的文档,但这个脚本的持续性(每小时运行)似乎不太常见和/或文档化。
欢迎任何建议。
在我的MySQL数据库中,我有一个包含与上述查询输出相同模式的表格。
我想要开发一个每小时运行的cron作业,它将针对PostgreSQL数据库运行查询,然后将结果插入到MySQL数据库中。在这一小时内,我不希望看到超过10,000个新行(甚至更少),需要转移。
两个数据库位于物理上分离的服务器上,彼此相距很远。MySQL实例运行在Amazon RDS上 - 因此我们对机器本身没有太多控制。PostgreSQL实例运行在我们的服务器中的VM上,使我们具有完全的控制。
不幸的是,复制是必要的,因为PostgreSQL数据库只充当信息的收集者,而MySQL数据库上有一个应用程序需要这些数据。为了简单起见,我们希望每小时从PostgreSQL进行移动/合并和删除以保持清洁。
明确一下 - 我是一个网络/系统管理员 - 不是DBA。我真的不理解在转换一种格式到另一种格式所需的所有复杂性。我知道的是,正在传输的数据包括1个VARCHAR、1个DATETIME和6个BIGINT列。
我猜测一种可能的方法是使用某种脚本语言来进行查询,将结果转换为内部数据结构,然后再将其拆分到MySQL中。
在这样做时,写脚本时应该注意哪些好的或坏的做法?或者 - 我应该查看哪些可能有用于进行此类转换的文档?我找到了许多计划作业似乎非常可管理且有良好的文档,但这个脚本的持续性(每小时运行)似乎不太常见和/或文档化。
欢迎任何建议。