我在我的PostgreSQL 9.0.x数据库中有一个名为cached_projects
的表,我主要通过Rails应用程序访问它,其模式如下:
create_table "cached_projects", :force => true do |t|
t.string "name", :null => false
t.datetime "created_at", :null => false
t.datetime "updated_at", :null => false
t.boolean "localization", :default => false, :null => false
t.integer "base_project_id"
end
表格由一个Rake任务填充,该任务每隔N分钟运行一次并执行以下操作:
- 从SOAP Web服务查询所有项目记录(在这个上下文中,“项目”只是由名称(字符串)和几个布尔和整数字段组成)。
- 将DB中的项目列表与SOAP结果同步,丢弃不再存在于SOAP结果中的任何记录,并添加发现的任何新记录。
做这个周期性同步的最有效方法是什么?重要的是,DB中的行与SOAP结果中给出的记录完全匹配,没有多余的内容。
我可以想到两种解决方案,但不确定哪种是最快的(由于有数万条记录,性能是一个问题,我希望尽可能频繁地进行同步):
在每次同步期间,删除
cached_projects
中的所有行,并为通过SOAP服务找到的每个项目插入一个新行。这将实现具有完全相同数据集的目标,但是每次在DB中删除约50000行对性能会产生多大影响,假设其中绝大多数未更改?在DB中产生如此多的“变动”是否有缺点?
在每次同步期间,选择
cached_projects
中的所有行,并将它们存储在临时哈希变量中。循环处理SOAP记录,对于每个记录,检查它是否已经存在于DB中(使用临时哈希),保留我们发现的DB记录的ID列表,以便它们可以保留在DB中。在比较完所有内容之后,为任何新记录插入行,并删除不再应存在于表格中的记录。这是我的当前解决方案,虽然它也完全镜像数据,但在Rake任务中比较所有记录需要大量计算资源,每次同步需要花费约3-5分钟。(实际上,当DB表为空时,第一次同步会更快,但在随后的同步中,它必须与所有行进行比较,这更慢一些。)
我愿意接受其他建议或改进上述两个想法。到目前为止,我一直在寻找应用程序代码(基于Ruby的Rake任务)内的解决方案,但我也对将更多逻辑推入DB本身的想法感兴趣,因为我对那方面的事情了解得少。