也许有一些商业（即付费）程序可以进行排序。开发一个能高效排序大型文本文件的程序是一项不容易的任务。如果你可以花几百美元买到某些东西，而你的时间也很宝贵，那么你可能赚了。
如果您不能使用现成的程序，那么...
如果您的文本内容分布在多个较小的文件中，则问题更容易解决。您可以先对每个文件进行排序，从这些文件中删除重复项，并编写已删除重复项的排序临时文件。然后运行简单的n路归并以将文件合并为一个输出文件，其中已删除重复项。
如果您只有一个文件，则首先读入尽可能多的行到内存中，对其进行排序，删除重复项并编写临时文件。您可以继续处理整个大文件。完成后，您会得到一些已排序的临时文件，然后可以将它们合并。
伪代码如下：
fileNumber = 0
while not end-of-input
load as many lines as you can into a list
sort the list
filename = "file"+fileNumber
write sorted list to filename, optionally removing duplicates
fileNumber = fileNumber + 1
你不必从临时文件中删除重复项，但如果你的唯一数据只占总数据的10％，那么不将重复项输出到临时文件中可以节省大量时间。
一旦所有临时文件都写好了，你需要将它们合并。根据你的描述，我估计你从文件中读取的每个块将包含大约2000万行左右。因此，你可能有25个临时文件需要处理。
现在你需要进行k路合并。这是通过创建一个优先队列来完成的。你打开每个文件，从每个文件中读取第一行，并将其与来自该行的文件的引用一起放入队列中。然后，你取出队列中最小的项目，并将其写入输出文件。为了删除重复项，你要跟踪你输出的前一行，并且如果新行与上一行相同，则不输出新行。
一旦你输出了这一行，你就从刚才输出的行所在的文件中读取下一行，并将该行添加到优先队列中。你继续这样做，直到你清空了所有的文件。
我之前发表了一系列关于如何对一个非常大的文本文件进行排序的文章。它使用了我上面描述的技术。唯一不做的事情就是去重，但这只需要对输出临时文件和最终输出方法进行简单修改即可。即使没有优化，该程序的性能也相当不错。它不会创造任何速度记录，但应该能够在不到12小时内对5亿行进行排序和去重。考虑到第二次遍历仅处理总数据的一小部分（因为已从临时文件中删除了重复项），所以可能要快得多。请查看文章系列。这是许多不同的，主要是小的文章，带您完成我描述的整个过程，并呈现工作代码。如果您有任何问题，请随时问我。