我们处理的一个公司每天会向我们发送 ~90万 行产品清单的 CSV 文件。
我希望将其存储在云中,并由其他人来处理补丁、管理等。底层引擎无关紧要(如mysql,sql server,mongo couchdb等)。
但主要要求是有某种自动刷新和从CSV加载到数据库的方法,而不是每天进行 900,000 个INSERT语句或相当数量的操作。就像使用SQL Server时,我们可以使用bcp,或者使用MySQL时,我们可以使用 mysqlimport。清单每天更改非常频繁,因此比较今天和昨天的清单没有意义。
它每天只会被查询400-500次,而且不会同时进行。每天只需一次400-500次的查询。但所有数据都必须存在并每天更新。
有什么建议吗?我们正在研究mongohq、Windows Azure、xeround等平台。
我希望将其存储在云中,并由其他人来处理补丁、管理等。底层引擎无关紧要(如mysql,sql server,mongo couchdb等)。
但主要要求是有某种自动刷新和从CSV加载到数据库的方法,而不是每天进行 900,000 个INSERT语句或相当数量的操作。就像使用SQL Server时,我们可以使用bcp,或者使用MySQL时,我们可以使用 mysqlimport。清单每天更改非常频繁,因此比较今天和昨天的清单没有意义。
它每天只会被查询400-500次,而且不会同时进行。每天只需一次400-500次的查询。但所有数据都必须存在并每天更新。
有什么建议吗?我们正在研究mongohq、Windows Azure、xeround等平台。