我有一个非常大的表格,有1900万条记录,并且我遇到了重复行的问题。即使在这里也有很多类似的问题,但没有一个能给我一个令人满意的答案。需要考虑以下几点:
- 行的唯一性由两列
location_id
和datetime
决定。 - 我希望执行时间尽可能快(<1小时)。
- 由于表格大小达到数GB,复制表格并不是很可行。
- 无需担心关系。
正如所说,每个location_id
只能有一个不同的datetime
,我想删除所有重复的实例。它们中的哪一个保留下来都无所谓,因为数据是相同的。
有什么好的想法吗?