我需要处理大约2百万个文本文件并生成三元组。
假设我有一个文本文件xyz.txt(这是200万个输入文件之一),它被处理如下:
start(xyz.txt)---->module1(xyz.tpd)------>module2(xyz.adv)-------->module3(xyz.tpl)
请给我建议一个逻辑或概念,使我可以在x64 4GB Windows系统上更快地处理和优化。
module1(正在工作):它使用.bat文件解析txt文件,在其中调用解析器,它是一个独立的系统线程,并在15秒后再次开始解析另一个txt文件,以此类推....
module2(正在工作):它接受.tpd文件作为输入并生成.adv文件。
module3(正在工作):它接受.adv文件作为输入并生成.tpl(三元组)。
我应该从txt文件开始线程还是在其他某个点开始?
我担心如果CPU在上下文切换时被卡住。
有人能提供更好的逻辑,以便我可以尝试吗?
假设我有一个文本文件xyz.txt(这是200万个输入文件之一),它被处理如下:
start(xyz.txt)---->module1(xyz.tpd)------>module2(xyz.adv)-------->module3(xyz.tpl)
请给我建议一个逻辑或概念,使我可以在x64 4GB Windows系统上更快地处理和优化。
module1(正在工作):它使用.bat文件解析txt文件,在其中调用解析器,它是一个独立的系统线程,并在15秒后再次开始解析另一个txt文件,以此类推....
module2(正在工作):它接受.tpd文件作为输入并生成.adv文件。
module3(正在工作):它接受.adv文件作为输入并生成.tpl(三元组)。
我应该从txt文件开始线程还是在其他某个点开始?
我担心如果CPU在上下文切换时被卡住。
有人能提供更好的逻辑,以便我可以尝试吗?