我有一个第三方系统,每天会生成大量数据(这些是存储在FTP上的CSV文件)。生成的文件类型有3种:
我们使用java技术栈。数据库是MS SQL Standard。根据我的测量,MS SQL Standard与其他应用程序一起无法处理这样的负载。我能想到以下解决方案:
- 每15分钟(2个文件)。这些文件相当小(约2 Mb)
- 每天下午5点左右(约200-300 MB)
- 每天午夜(此CSV文件约1 GB)
我们使用java技术栈。数据库是MS SQL Standard。根据我的测量,MS SQL Standard与其他应用程序一起无法处理这样的负载。我能想到以下解决方案:
- 将其升级为带有独立服务器的MS SQL Enterprise。
- 在单独的服务器上使用PostgreSQL。现在我正在为此方法进行PoC测试。
编辑#1
那些大文件是每天的新数据。