什么是从大型 .txt 文件中删除重复行的最佳方法?因为逐个删除重复项很简单,我们可以将此问题转化为仅对文件进行排序。假设由于文件大小,我们无法将整个数据加载到 RAM 中。我正在等待从带有一个唯一索引字段的 SQL 表中检索所有记录(我之前已将文件行加载到表中),并想知道是否存在加速的方法。
SELECT DISTINCT
吗?这将是一个一次性的重复过程吗? - Jeriko