我有一个问题,需要非常快速地将大量数据(超过50亿行)加载到数据库中(最好少于30分钟,但速度越快越好),我最近被建议尝试使用PostgreSQL(我之前使用MySQL未成功,曾考虑HBase /Cassandra)。我的设想是在群集中的每台机器上本地运行数据库,使其在本地快速写入数据,然后在最终结束时(或在数据生成过程中)合并数据。数据没有任何顺序,所以我不关心特定服务器在哪里(只要最终到达即可)。
我的问题是,是否有任何好的教程或地方可以学习PostgreSQL自动分片功能(我发现像Sykpe这样的公司正在使用自动分片,但没有教程,我想自己尝试解决这个问题)?我所尝试的是否可行?因为数据没有任何顺序,我打算使用自增ID号码,如果数据被合并,那会不会造成冲突(这已经不是一个大问题了)?
更新:Frank在下面提出的想法消除了我所问的自增冲突问题。问题基本上是,我如何了解自动分片,并且它是否支持将数据分布式上传到多个服务器?
我的问题是,是否有任何好的教程或地方可以学习PostgreSQL自动分片功能(我发现像Sykpe这样的公司正在使用自动分片,但没有教程,我想自己尝试解决这个问题)?我所尝试的是否可行?因为数据没有任何顺序,我打算使用自增ID号码,如果数据被合并,那会不会造成冲突(这已经不是一个大问题了)?
更新:Frank在下面提出的想法消除了我所问的自增冲突问题。问题基本上是,我如何了解自动分片,并且它是否支持将数据分布式上传到多个服务器?