我看到stackoverflow上有很多关于MongoDB聚合的问题，但是我还没有找到完整的解决方案。
这里是我的数据示例：
{
"fruits" : {
"apple" : "red",
"orange" : "orange",
"plum" : "purple"
}
}
{
"fruits" : {
"apple" : "green",
"plum" : "purple"
}
}
{
"fruits" : {
"apple" : "red",
"orange" : "yellow",
"plum" : "purple"
}
}
现在，我的目标是确定每种水果的每种颜色的受欢迎程度，因此输出集合可能如下所示：
{
"_id" : "apple"
"values" : {
"red" : 2,
"green" : 1
}
}
{
"_id" : "orange"
"values" : {
"orange" : 1,
"yellow" : 1
}
}
{
"_id" : "plum"
"values" : {
"purple" : 3
}
}
我尝试了各种M/R函数，但最终它们要么不起作用，要么花费指数级的时间。在这个例子（水果）的背景下，我有大约1,000种不同的水果和100,000种颜色，总共约有10,000,000个文档。我的当前工作M/R如下：
map = function() {
if (!this.fruits) return;
for (var fruit in this.fruits) {
emit(fruit, {
val_array: [
{value: this.fruits[fruit], count: 1}
]
});
}
};
reduce = function(key, values) {
var collection = {
val_array: []
};
var found = false;
values.forEach(function(map_obj) {
map_obj.val_array.forEach(function(value_obj) {
found = false;
// if exists in collection, inc, else add
collection.val_array.forEach(function(coll_obj) {
if (coll_obj.value == value_obj.value) {
// the collection already has this object, increment it
coll_obj.count += value_obj.count;
found = true;
return;
}
});
if (!found) {
// the collection doesn't have this obj yet, push it
collection.val_array.push(value_obj);
}
});
});
return collection;
};
现在，这确实起作用了，对于100条记录，只需要大约一秒钟左右的时间，但是时间增长是非线性的，因此100M条记录需要很长时间。问题在于我在reduce函数中使用“collection”数组进行了一种简易的子聚合，因此需要迭代“collection”和我的map函数的值。现在我只需要找出如何高效地做到这一点（即使需要多次缩减）。欢迎任何建议！
编辑 由于没有更好的发布位置，这是我的解决方案。 首先，我创建了一个名为“mr.js”的文件：
map = function() {
if (!this.fruits) return;
var skip_fruits = {
'Watermelon':1,
'Grapefruit':1,
'Tomato':1 // yes, a tomato is a fruit
}
for (var fruit in this.fruits) {
if (skip_fruits[fruit]) continue;
var obj = {};
obj[this.fruits[fruit]] = 1;
emit(fruit, obj);
}
};
reduce = function(key, values) {
var out_values = {};
values.forEach(function(v) {
for(var k in v) { // iterate values
if (!out_values[k]) {
out_values[k] = v[k]; // init missing counter
} else {
out_values[k] += v[k];
}
}
});
return out_values;
};
var in_coll = "fruit_repo";
var out_coll = "fruit_agg_so";
var total_docs = db[in_coll].count();
var page_size = 100000;
var pages = Math.floor(total_docs / page_size);
print('Starting incremental MR job with '+pages+' pages');
db[out_coll].drop();
for (var i=0; i<pages; i++) {
var skip = page_size * i;
print("Calculating page limits for "+skip+" - "+(skip+page_size-1)+"...");
var start_date = db[in_coll].find({},{date:1}).sort({date:1}).skip(skip).limit(1)[0].date;
var end_date = db[in_coll].find({},{date:1}).sort({date:1}).skip(skip+page_size-1).limit(1)[0].date;
var mr_command = {
mapreduce: in_coll,
map: map,
reduce: reduce,
out: {reduce: out_coll},
sort: {date: 1},
query: {
date: {
$gte: start_date,
$lt: end_date
}
},
limit: (page_size - 1)
};
print("Running mapreduce for "+skip+" - "+(skip+page_size-1));
db[in_coll].runCommand(mr_command);
}
那个文件迭代遍历整个集合，每次递增地对10万篇文档进行映射/归约操作（按
date排序，必须有索引！），并将它们减少到单个输出集。使用方法如下：mongo db_name mr.js。然后，几个小时后，我得到了一个包含所有信息的集合。为了找出哪些水果有最多的颜色，我在mongo shell中使用以下命令打印前25个结果：
// Show number of number of possible values per key
var keys = [];
for (var c = db.fruit_agg_so.find(); c.hasNext();) {
var obj = c.next();
if (!obj.value) break;
var len=0;for(var l in obj.value){len++;}
keys.push({key: obj['_id'], value: len});
}
keys.sort(function(a, b){
if (a.value == b.value) return 0;
return (a.value > b.value)? -1: 1;
});
for (var i=0; i<20; i++) {
print(keys[i].key+':'+keys[i].value);
}
这种方法的真正酷处在于它是增量式的，因此我可以在mapreduce正在运行时处理输出数据。
colors对象必须增长）：“secs_running”：488，“msg”：“m/r：（1/3）发出阶段383999/10752083 3％”。 - SteveKemit(fruit, {this.fruits[fruit]: 1});，因为键是动态生成的，所以我使用了这个 JS hack：var obj = {}; obj[this.fruits[fruit]] = 1; emit(fruit, obj);。 - SteveK