数据表连接的时间

Question

我在R中有两个data.table:

> tables()
     NAME          NROW   MB COLS                                 KEY       
[1,] dtb      2,536,206   68 dte,permno,capm_beta,mkt_beta_bucket permno,dte
[2,] idx_dtb        573    1 dte                                  dte       
[3,] ssd_dtb 58,808,208 1571 dte,permno,xs_ret,mkt_cap            permno,dte
Total: 1,640MB

我想进行右外连接：select * from dtb right join ssd_dtb using (permno, dte)

data.table中的等效命令如下：

mdtb <- dtb[ssd_dtb]

到目前为止，运行时间已经约为20分钟。这似乎有点长，因为在SQL服务器上通常需要更少的时间才能运行。我是否没有正确使用该软件包？

问题回答后的编辑：

我认为了解为什么我必须执行dtb [ssd_dtb]而不是ssd_dtb [dtb]可能会有所帮助。我设计了一个简单的示例：

> x <- data.table(id=1:5, t=1:15, v=1:15)
> x
    id  t  v
 1:  1  1  1
 2:  2  2  2
 3:  3  3  3
 4:  4  4  4
 5:  5  5  5
 6:  1  6  6
 7:  2  7  7
 8:  3  8  8
 9:  4  9  9
10:  5 10 10
11:  1 11 11
12:  2 12 12
13:  3 13 13
14:  4 14 14
15:  5 15 15
> y <- data.table(id=c(1,1,2,3), t=c(1,2,6,13), v2=41:44)
> y
   id  t v2
1:  1  1 41
2:  1  2 42
3:  2  6 43
4:  3 13 44

> x[y]
   id  t  v v2
1:  1  1  1 41
2:  1  2 NA 42
3:  2  6 NA 43
4:  3 13 13 44
> x[y, nomatch=0]
   id  t  v v2
1:  1  1  1 41
2:  3 13 13 44
> y[x]
    id  t v2  v
 1:  1  1 41  1
 2:  1  6 NA  6
 3:  1 11 NA 11
 4:  2  2 NA  2
 5:  2  7 NA  7
 6:  2 12 NA 12
 7:  3  3 NA  3
 8:  3  8 NA  8
 9:  3 13 44 13
10:  4  4 NA  4
11:  4  9 NA  9
12:  4 14 NA 14
13:  5  5 NA  5
14:  5 10 NA 10
15:  5 15 NA 15
> y[x, nomatch=0]
   id  t v2  v
1:  1  1 41  1
2:  3 13 44 13 

编辑2：解决方案1的输出如下：

> Rprof()
> mdtb  Rprof(NULL)
> summaryRprof()
$by.self
               self.time self.pct total.time total.pct
"[.data.table"     15.36    62.39      24.62    100.00
".Call"             7.96    32.33       7.96     32.33
"pmin"              0.92     3.74       1.16      4.71
"list"              0.24     0.97       0.24      0.97
"vector"            0.14     0.57       0.14      0.57

$by.total
               total.time total.pct self.time self.pct
"[.data.table"      24.62    100.00     15.36    62.39
"["                 24.62    100.00      0.00     0.00
".Call"              7.96     32.33      7.96    32.33
"pmin"               1.16      4.71      0.92     3.74
"list"               0.24      0.97      0.24     0.97
"vector"             0.14      0.57      0.14     0.57
"integer"            0.14      0.57      0.00     0.00

$sample.interval
[1] 0.02

$sampling.time
[1] 24.62

（注：以上为IT技术相关内容，涉及R语言编程）

- Alex

---

这两个关键字段真的设置为主键并建立索引了吗？你返回了很多记录，我从来不会期望这样的查询速度很快，但如果你有适当的索引，它肯定会更快。 - HLGEM

这是使用data.table包在R中编写的代码... - Alex

Answer 1

如果没有可重现的示例，我会尝试猜测。在这种情况下，有一些事情需要考虑。好问题。

1. 源代码中有一个TODO，可能会导致此情况下的大幅减速。我不知道它会如此严重，但如果你知道dtb的键是唯一的（即每个permno中没有重复的dte），那么可以设置mult="first"来解决它。或者设置mult="last"也可以。它所做的是找到组的起点和终点，但当键是唯一的时候，所有这些组只有1行。

2. 一个较小的影响可能是表与x相比较大。如果可能的话，请尝试安排查询，使表小于x；即ssd_dtb[dtb]而不是dtb[ssd_dtb]。当nomatch=0时它们是相同的。

如果第1条解决方法有帮助，您可以运行以下命令并将结果发送给我。同时，请提出一个bug.report(package="data.table")，并将它链接回这个问题。这样，当状态更改时，您将获得自动更新。

Rprof()
dtb[ssd_dtb]  # reduce size so that this takes 30 seconds or something manageable
Rprof(NULL)
summaryRprof()

Rprof()
dtb[ssd_dtb,mult="first"]  # should be faster than above if my guess is right
Rprof(NULL)
summaryRprof()

- Matt Dowle

---

哇：我刚刚在整个数据集上运行了解决方案1。它在大约10秒钟内完成了。太棒了！！！ - Alex

@trashgod，感谢您解决了这个问题。 - Matt Dowle

@Alex Good - 在58m行上进行LOCF处理需要10秒钟，这更接近实际情况。请提交错误报告，以防止出现任何减速问题而被遗忘。您是正确的，X[Y]与Y[X]不同。我只是写了当nomatch=0时它们会相同。因此，如果您需要外连接（nomatch=NA），那么在这种情况下选项2将无法工作，您是正确的。 - Matt Dowle

@MatthewDowle 如何提交错误报告？抱歉，我对这方面还不太熟悉。 - Alex

我查了一下，但是那会打开一个电子邮件客户端... 我没有安装电子邮件客户端... 我会尝试一下看看会发生什么。 - Alex