大家好,我使用的是MongoDB 2.4.6版本和Windows 2008 64位系统。
我有一个包含两百万记录的集合,需要在客户端中进行搜索和分页。
db.products.find({"catalogs":1205}).skip().limit() is very fast .
但是当计算总记录数时:
db.products.find({"catalogs":1205},{"_id":1}).count() is too slow.
>> 442312 records.
>>[log] Sat Sep 28 00:20:01.566 [conn10] command products.$cmd command: { count: "products", query: { catalogs: 1205.0 }, fields: { _id: 1.0 } } ntoreturn:1 keyUpdates:0 locks(micros) r:460681 reslen:48 460ms
这个计数命令的执行时间为460毫秒
,速度太慢了。如果我们有很多请求,那就很糟糕。
我为“catalogs”字段创建了一个索引,并且无法使用$inc
命令,因为查询可能非常复杂。
我在谷歌上搜索解决此类问题的方法,发现这个“count”性能漏洞已经在 MongoDB 2.4 版本中修复。
来源:http://docs.mongodb.org/manual/release-notes/2.4-overview/
Improvements to count provide dramatically faster count operations. Counting is now up to 20 times faster for low cardinality index based counts.
有哪些方法可以提高计数?谢谢。
更新一些信息
> db.products.getIndexes()
[
{
"v" : 1,
"key" : {
"_id" : 1
},
"ns" : "products.products",
"name" : "_id_"
},
{
"v" : 1,
"key" : {
"catalogs" : 1,
"created" : -1
},
"ns" : "products.products",
"name" : "catalogs_1_created_-1"
}
]
查询和已用时间:
>db.products.find({"catalogs":1205},{"_id":1}).limit(20)
>>Tue Oct 01 15:39:19.160 [conn2] query products.products query: { catalogs: 1205.0 } cursorid:277334670708253 ntoreturn:20 ntoskip:0 nscanned:21 keyUpdates:0 locks(micros) W:5045 r:1017 nreturned:20 reslen:704 1ms
查询解释:
>db.products.find({"catalogs":1205},{"_id":1}).explain()
{
"cursor" : "BtreeCursor catalogs_1_created_-1",
"isMultiKey" : true,
"n" : 451466,
"nscannedObjects" : 451466,
"nscanned" : 451466,
"nscannedObjectsAllPlans" : 451466,
"nscannedAllPlans" : 451466,
"scanAndOrder" : false,
"indexOnly" : false,
"nYields" : 2,
"nChunkSkips" : 0,
"millis" : 2969,
"indexBounds" : {
"catalogs" : [
[
1205,
1205
]
],
"created" : [
[
{
"$maxElement" : 1
},
{
"$minElement" : 1
}
]
]
},
"server" : "WIN-O47CO6C2WXY:27017"
}
_id
,为什么不直接使用db.products.count({catalogs:1205})
? - Yevgeniy Anfilofyevdb.products.find({"catalogs":1205}).count()
和db.products.find({"catalogs":1205},{"catalogs":1}).count()
也很慢。谢谢。 - zhengchunfind
命令来运行它吗? - Yevgeniy Anfilofyevcount(whatever)
只是find().count()
的符号链接。 - Sammaye