在R中使用rmongodb运行高级的MongoDB查询

5
作为MySQL让我感到抓狂,我试着熟悉我的第一个“NoSQL”数据库管理系统,它恰好是MongoDB。我通过rmongodb连接到它。
越是尝试使用rmongodb,就越会遇到关于运行高级查询的问题和疑问。
首先,在详细介绍我似乎无法正确指定的不同类型查询之前,我先展示一些示例数据。

示例数据

这个示例取自MongoDB网站,并且已经简化了一些。
pkg <- "rmongodb"
if (!require(pkg, character.only=TRUE)) {
    install.packages(pkg)
    require(pkg, character.only=TRUE)   
}

# Connect to DB
db <- "test"
ns <- "posts"
mongo <- mongo.create(db=db)

# Insert document to collection 'test.users'
b <- mongo.bson.from.list(list(
    "_id"="alex", 
    name=list(first="Alex", last="Benisson"),
    karma=1.0,
    age=30,
    test=c("a", "b")
))
mongo.insert(mongo, "test.users", b)

# Insert document to collection 'test.posts'
b <- mongo.bson.from.list(list(
        "_id"="abcd",
        when=mongo.timestamp.create(strptime("2011-09-19 02:00:00",
            "%Y-%m-%d %H:%M:%s"), increment=1),
        author="alex",
        title="Some title",
        text="Some text.",
        tags=c("tag.1", "tag.2"),
        votes=5,
        voters=c("jane", "joe", "spencer", "phyllis", "li"),
        comments=list(
            list(
                who="jane", 
                when=mongo.timestamp.create(strptime("2011-09-19 04:00:00",
                    "%Y-%m-%d %H:%M:%s"), increment=1),
                comment="Some comment."
            ),
            list(
                who="meghan", 
                when=mongo.timestamp.create(strptime("2011-09-20 13:00:00",
                    "%Y-%m-%d %H:%M:%s"), increment=1),
                comment="Some comment."
            )
        )
    )
)
b
mongo.insert(mongo, "test.posts", b)

与插入JSON/BSON对象相关的两个问题:

  1. 文档“test.posts”,字段 voters:在这种情况下使用 c() 是否正确?
  2. 文档“test.posts”,字段 comments:指定的正确方式是什么,c() 还是 list()

顶级查询:它们非常有效

顶级查询完全正常:

# Get all posts by 'alex' (only titles)
res <- mongo.find(mongo, "test.posts", query=list(author="alex"), 
    fields=list(title=1L))
out <- NULL
while (mongo.cursor.next(res))
    out <- c(out, list(mongo.bson.to.list(mongo.cursor.value(res))))

> out
[[1]]
                       _id                      title 
                     "abcd"            "No Free Lunch" 

问题1:基本子级查询

如何运行简单的“子级查询”(与顶级查询相对),以便访问任意深度的JSON/BSON格式MongoDB对象中的子级别?这些子级查询使用了MongoDB的点表示法,我似乎无法弄清如何将其映射到有效的rmongodb查询。

在普通的MongoDB语法中,类似于

> db.posts.find( { comments.who : "meghan" } )

这可能可以实现。但我无法弄清如何使用rmongodb函数来实现

到目前为止,我尝试过以下方法:

# Get all comments by 'meghan' from 'test.posts'

#--------------------
# Approach 1)
#--------------------
res <- mongo.find(mongo, "test.posts", query=list(comments=list(who="meghan")))
out <- NULL
while (mongo.cursor.next(res))
    out <- c(out, list(mongo.bson.to.list(mongo.cursor.value(res))))

> out
NULL
# Does not work

#--------------------
# Approach 2) 
#--------------------
buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "comments")
mongo.bson.buffer.append(buf, "who", "meghan")
mongo.bson.buffer.finish.object(buf)
query <- mongo.bson.from.buffer(buf)
res <- mongo.find(mongo, "test.posts", query=query)
out <- NULL
while (mongo.cursor.next(res))
    out <- c(out, list(mongo.bson.to.list(mongo.cursor.value(res))))

> out
NULL
# Does not work

问题2:使用$运算符的查询

这些是有效的

查询1

buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "age")
mongo.bson.buffer.append(buf, "$lte", 30)
mongo.bson.buffer.finish.object(buf)
criteria <- mongo.bson.from.buffer(buf)
criteria

> mongo.find.one(mongo, "test.users", query=criteria)
    _id : 2      alex
    name : 3     
        first : 2    Alex
        last : 2     Benisson

    karma : 1    1.000000
    age : 1      30.000000
    test : 4     
        0 : 2    a
        1 : 2    b

查询2

buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "test")
mongo.bson.buffer.append(buf, "$in", c("a", "z"))
mongo.bson.buffer.finish.object(buf)
criteria <- mongo.bson.from.buffer(buf)
criteria
mongo.find.one(mongo, "test.users", query=criteria)

然而,请注意,原子集将导致返回值为NULL
mongo.bson.buffer.append(buf, "$in", "a")
# Instead of 'mongo.bson.buffer.append(buf, "$in", c("a", "z"))'

尝试使用子查询时,我又迷失了方向

buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "name")
mongo.bson.buffer.start.object(buf, "first")
mongo.bson.buffer.append(buf, "$in", c("Alex", "Horst"))
mongo.bson.buffer.finish.object(buf)
mongo.bson.buffer.finish.object(buf)
criteria <- mongo.bson.from.buffer(buf)
criteria <- mongo.bson.from.buffer(buf)
> criteria
    name : 3     
        first : 3    
            $in : 4      
                0 : 2    Alex
                1 : 2    Horst

> mongo.find.one(mongo, "test.users", query=criteria)
NULL

作者Gerald Lindsly在这里发布了一篇简短的博客 - http://www.r-bloggers.com/rmongodb-r-driver-for-mongodb/。虽然有点旧,但他似乎很渴望得到反馈,因此给他发封电子邮件可能是值得的(他的地址在链接底部)?据我所知,该驱动程序是社区开发的驱动程序之一。 - Mark Hillick
谢谢Mark,我确实浏览了这篇文章,但是只看到它链接了一个相当广泛的示例应用程序。没错,这是社区开发的。我最终尝试联系了Gerald,但也认为在SO上发布这个问题是个好主意。 - Rappster
很酷,我正在看它,但是我对R非常陌生,所以我怀疑我不能提供太多帮助。让我知道你的进展如何。 - Mark Hillick
3个回答

7

无论是c()还是list()都可以,这取决于组件是否有命名,以及它们是否都具有相同的类型(对于list来说)。 最好的方法是查看生成的BSON并查看是否获得了所需内容。 要获得生成对象的最佳控制,请使用mongo.bson.buffer和在其上运行的函数。 实际上,这就是子查询失败的原因。 'comments'被创建为子对象而不是数组。 mongo.bson.from.list()很方便,但它不能给您相同的控制权,并且有时会猜测从复杂结构中生成什么。

另一组数据的查询可以像这样进行纠正:

buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "name.first")
mongo.bson.buffer.append(buf, "$in", c("Alex", "Horst"))
mongo.bson.buffer.finish.object(buf)
criteria <- mongo.bson.from.buffer(buf)

请注意,在这里您一定需要使用缓冲区,因为R会对带点的名称产生错误。
我希望这能解决您的问题。如果您有任何进一步的问题,请告诉我。

太好了,非常感谢Gerald!我明天会用我的代码来检查它。 - Rappster
我尝试一次解决一个问题,但似乎仍然无法弄清楚posts集合的正确BSON结构;-) 我添加了一个“答案”,尝试遵循您的建议,使您更容易地进行尝试。非常感谢您的支持! - Rappster
另外,我如何知道我得到了一个子对象还是一个数组?在 R 中生成的 BSON 对象在这两种情况下看起来非常相似。 - Rappster

2
关于原子查询和$in操作符,我已经按照您第一个问题中的Query 2成功地进行了如下处理:
buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "test")
mongo.bson.buffer.start.array(buf, "$in")
mongo.bson.buffer.append(buf, "a", "a")
mongo.bson.buffer.finish.object(buf)
mongo.bson.buffer.finish.object(buf)
criteria <- mongo.bson.from.buffer(buf)
criteria

我猜如果数组最终只包含一个元素,明确地开始和结束数组就可以解决问题。
有用的一件事是监视mongod控制台或日志(在使用-v选项启动mongod后)。运行您的旧查询,您会看到:
Tue Nov 20 16:09:04 [conn23] User Assertion: 12580:invalid query
Tue Nov 20 16:09:04 [conn23] assertion 12580 invalid query ns:test.users query:{ test: { $in: "a" } }
Tue Nov 20 16:09:04 [conn23] problem detected during query over test.users : { $err: "invalid query", code: 12580 }
Tue Nov 20 16:09:04 [conn23] query test.users query: { test: { $in: "a" } } ntoreturn:0 keyUpdates:0 exception: invalid query code:12580 locks(micros) r:440 reslen:59 0ms

运行修改后的查询,看起来没问题:

Tue Nov 20 16:10:14 [conn23] query test.users query: { test: { $in: [ "a" ] } } ntoreturn:0 keyUpdates:0 locks(micros) r:168 nreturned:1 reslen:142 0ms

看起来很有前途,谢谢!我已经等了很长时间的输入了,明天我会去看看! - Rappster

2

我仍然不太清楚在SO上,一旦发布了一个问题但希望进一步阐述,可能会添加更多的问题和答案方法,应该采取什么样的首选方式。

由于我经常被告知不要用未来的编辑来扩大我的原始问题,在这个“答案”中,我只是采取Gerald Lindsly的建议,并尝试将其转化为实际代码(因为它对我仍然没有起作用):

准备工作

pkg <- "rmongodb"
if (!require(pkg, character.only=TRUE)) {
    install.packages(pkg)
    require(pkg, character.only=TRUE)   
}

# Connect to DB
db <- "test"
ns <- "posts"
mongo <- mongo.create(db=db)

# Make sure we start with an empty collection
mongo.drop(mongo, paste(db, ns, sep="."))

插入文档

正如Gerald在他的回答中指出的那样,mongo.bson.from.list()有时会对结果的BSON结构做错误的猜测,因此我尝试着显式地创建BSON数组对象:

buf <- mongo.bson.buffer.create()

# 'REGULAR' APPENDING
mongo.bson.buffer.append(buf, "_id", "abcd")
mongo.bson.buffer.append(buf, "when", 
    mongo.timestamp.create(strptime("2011-09-19 02:00:00",
        "%Y-%m-%d %H:%M:%s"), increment=1))
mongo.bson.buffer.append(buf, "author", "alex")
mongo.bson.buffer.append(buf, "title", "Some title")
mongo.bson.buffer.append(buf, "text", "Some text.")
mongo.bson.buffer.append(buf, "tags", c("tag.1", "tag.2"))
mongo.bson.buffer.append(buf, "votes", 5)
# /

# VOTERS ARRAY
mongo.bson.buffer.start.array(buf, "voters")
voters <- c("jane", "joe", "spencer", "phyllis", "li")
i=1
for (i in seq(along=voters)) {
    mongo.bson.buffer.append(buf, as.character(i), voters[i])
}
mongo.bson.buffer.finish.object(buf)
# /

# COMMENTS ARRAY
mongo.bson.buffer.start.array(buf, "comments")

mongo.bson.buffer.start.object(buf, "1")
mongo.bson.buffer.append(buf, "who", "jane")
mongo.bson.buffer.append(buf, "when", 
    mongo.timestamp.create(strptime("2011-09-19 04:00:00",
            "%Y-%m-%d %H:%M:%s"), increment=1))
mongo.bson.buffer.append(buf, "comment", "some comment.")
mongo.bson.buffer.finish.object(buf)

mongo.bson.buffer.start.object(buf, "2")
mongo.bson.buffer.append(buf, "who", "meghan")
mongo.bson.buffer.append(buf, "when", 
    mongo.timestamp.create(strptime("2011-09-20 13:00:00",
            "%Y-%m-%d %H:%M:%s"), increment=1))
mongo.bson.buffer.append(buf, "comment", "some comment.")
mongo.bson.buffer.finish.object(buf)
# /

# FINALIZE
mongo.bson.buffer.finish.object(buf)
b <- mongo.bson.from.buffer(buf)
> b
_id : 2      abcd
when : 17    i: 1, t: 1316390400
author : 2   alex
title : 2    Some title
text : 2     Some text.
tags : 4     
    0 : 2    tag.1
    1 : 2    tag.2

votes : 1    5.000000
voters : 4   
    1 : 2    jane
    2 : 2    joe
    3 : 2    spencer
    4 : 2    phyllis
    5 : 2    li

comments : 4     
    1 : 3    
        who : 2      jane
        when : 17    i: 1, t: 1316397600
        comment : 2      some comment.

    2 : 3    
        who : 2      meghan
        when : 17    i: 1, t: 1316516400
        comment : 2      some comment.

mongo.insert(mongo, "test.posts", b)

基本子级查询

# Get all comments by 'meghan' from 'test.posts'

#--------------------
# Approach 1)
#--------------------
res <- mongo.find(mongo, "test.posts", query=list(comments=list(who="meghan")))
out <- NULL
while (mongo.cursor.next(res))
    out <- c(out, list(mongo.bson.to.list(mongo.cursor.value(res))))

> out
NULL
# Does not work

#--------------------
# Approach 2) 
#--------------------
buf <- mongo.bson.buffer.create()
mongo.bson.buffer.start.object(buf, "comments")
mongo.bson.buffer.append(buf, "who", "meghan")
mongo.bson.buffer.finish.object(buf)
query <- mongo.bson.from.buffer(buf)
res <- mongo.find(mongo, "test.posts", query=query)
out <- NULL
while (mongo.cursor.next(res))
    out <- c(out, list(mongo.bson.to.list(mongo.cursor.value(res))))

> out
NULL
# Does not work

我在指定文档时可能还有些错误;-)

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接