我希望能够根据经验和理解,了解Stack Overflow成员对以下情境的看法。
我们获得20-30百万条记录作为输入(输入通常是csv或xls文件,并且可以上传到数据库),我们需要处理这些记录并生成不同的文件,其中包括输出文件和错误文件。因此,根据一些业务逻辑,这些记录被移动到输出或错误文件中。
目前,所采用的过程使用SSIS包和某些ETL工具来执行该任务。这些pkg和ETL工具本身需要5到15分钟才能处理,具体取决于输入大小。
有许多输入和许多SSIS包和ETL程序用于它们。
我们想要用某个.NET应用程序替换这些SSIS pkgs和ETL程序。我们关心这些.NET应用程序的速度和性能,因为通常在.NET中I/O很慢。
还有没有更好的方法来处理这个问题?
我们获得20-30百万条记录作为输入(输入通常是csv或xls文件,并且可以上传到数据库),我们需要处理这些记录并生成不同的文件,其中包括输出文件和错误文件。因此,根据一些业务逻辑,这些记录被移动到输出或错误文件中。
目前,所采用的过程使用SSIS包和某些ETL工具来执行该任务。这些pkg和ETL工具本身需要5到15分钟才能处理,具体取决于输入大小。
有许多输入和许多SSIS包和ETL程序用于它们。
我们想要用某个.NET应用程序替换这些SSIS pkgs和ETL程序。我们关心这些.NET应用程序的速度和性能,因为通常在.NET中I/O很慢。
还有没有更好的方法来处理这个问题?