我在MongoDB中有一个集合，其中大约有（~3百万条记录）。我的样本记录看起来像这样：
{ "_id" = ObjectId("50731xxxxxxxxxxxxxxxxxxxx"),
"source_references" : [
"_id" : ObjectId("5045xxxxxxxxxxxxxx"),
"name" : "xxx",
"key" : 123
]
}
我的集合中有很多重复记录，这些记录的source_references.key相同。（我指的是重复的source_references.key而不是_id）。
我想基于source_references.key 删除重复记录，我正在考虑编写一些PHP代码来遍历每个记录并删除存在的记录。
有没有办法在Mongo内部命令行中删除重复项？
此答案已过时：dropDups 选项在 MongoDB 3.0 中被删除，因此在大多数情况下需要采用不同的方法。例如，您可以使用聚合操作，如 MongoDB duplicate documents even after adding unique key 中所建议的。
如果您确定 source_references.key 标识了重复记录，则可以在 MongoDB 2.6 或更早版本中使用 dropDups:true 索引创建选项来确保唯一索引：
db.things.ensureIndex({'source_references.key' : 1}, {unique : true, dropDups : true})
source_references.key值保留第一个唯一文档，并删除任何可能导致重复键违规的后续文档。source_references.key字段的文档都将被视为具有null值，因此随后缺少键字段的文档将被删除。您可以添加sparse:true索引创建选项，以便该索引仅适用于具有source_references.key字段的文档。这是我在MongoDB 3.2上使用的最简单的查询。
db.myCollection.find({}, {myCustomKey:1}).sort({_id:1}).forEach(function(doc){
db.myCollection.remove({_id:{$gt:doc._id}, myCustomKey:doc.myCustomKey});
})
在运行此操作之前，请索引您的customKey以提高速度
虽然@Stennie的回答是有效的，但这并不是唯一的方法。事实上，MongoDB手册要求您在执行此操作时要非常谨慎。还有两种其他选项
这是一种稍微“手动”的方法：
基本上，首先获取您感兴趣的所有唯一键的列表。
然后使用每个键执行搜索，并在该搜索返回大于一时进行删除。
db.collection.distinct("key").forEach((num)=>{
var i = 0;
db.collection.find({key: num}).forEach((doc)=>{
if (i) db.collection.remove({key: num}, { justOne: true })
i++
})
});
db.collection.remove({ _id: doc._id }) - salkcid我有类似的需求，但我想保留最新的条目。以下查询适用于我的集合，该集合有数百万条记录和重复项。
/** Create a array to store all duplicate records ids*/
var duplicates = [];
/** Start Aggregation pipeline*/
db.collection.aggregate([
{
$match: { /** Add any filter here. Add index for filter keys*/
filterKey: {
$exists: false
}
}
},
{
$sort: { /** Sort it in such a way that you want to retain first element*/
createdAt: -1
}
},
{
$group: {
_id: {
key1: "$key1", key2:"$key2" /** These are the keys which define the duplicate. Here document with same value for key1 and key2 will be considered duplicate*/
},
dups: {
$push: {
_id: "$_id"
}
},
count: {
$sum: 1
}
}
},
{
$match: {
count: {
"$gt": 1
}
}
}
],
{
allowDiskUse: true
}).forEach(function(doc){
doc.dups.shift();
doc.dups.forEach(function(dupId){
duplicates.push(dupId._id);
})
})
/** Delete the duplicates*/
var i,j,temparray,chunk = 100000;
for (i=0,j=duplicates.length; i<j; i+=chunk) {
temparray = duplicates.slice(i,i+chunk);
db.collection.bulkWrite([{deleteMany:{"filter":{"_id":{"$in":temparray}}}}])
}
在 Fernando 的回答 的基础上进行拓展，但我发现这样做太耗时了，因此我进行了修改。
var x = 0;
db.collection.distinct("field").forEach(fieldValue => {
var i = 0;
db.collection.find({ "field": fieldValue }).forEach(doc => {
if (i) {
db.collection.remove({ _id: doc._id });
}
i++;
x += 1;
if (x % 100 === 0) {
print(x); // Every time we process 100 docs.
}
});
});
这次改进基本上是使用文档ID来进行删除操作，这样应该会更快，并且加入了操作进度，您可以将迭代值更改为所需的数量。
另外，在操作之前对字段进行索引会有所帮助。
使用pip install mongo_remove_duplicate_indexes命令安装
查看mongo_remove_duplicate_indexes软件包源代码以更好地理解
cole.find().groupBy(_.customField).filter(_._2.size>1).map(_._2.tail).flatten.map(_.id)
.foreach(x=>cole.remove({id $eq x})
dropDups选项仅适用于创建唯一索引时。未来插入具有重复键的记录将生成重复键错误。 - StenniedropDups的明显原因是：不清楚会删除哪个重复项，更重要的是删除文档是创建索引的意外副作用。最糟糕的情况是：如果在不存在的字段上（例如由于拼写错误）使用dropDups:true创建唯一索引，则索引值将为null，并且您将只剩下一个文档在集合中。 - Stennie