可能重复:
为什么在字符向量上使用as.Date很慢?
我有一个大的data.frame
(大约有6000万个观测值),我使用RMySQL
从数据库中读取。由于日期以字符形式呈现(似乎没有改变它们的方法),因此我使用as.Date
将其转换为日期格式。然而,由于有这么多的观测值,这需要非常长的时间。有什么方法可以使这个过程更快吗?
可能重复:
为什么在字符向量上使用as.Date很慢?
我有一个大的data.frame
(大约有6000万个观测值),我使用RMySQL
从数据库中读取。由于日期以字符形式呈现(似乎没有改变它们的方法),因此我使用as.Date
将其转换为日期格式。然而,由于有这么多的观测值,这需要非常长的时间。有什么方法可以使这个过程更快吗?
Simon Urbanek的fasttime库在可解析的日期时间子集上非常快:
R> now <- Sys.time()
R> now
[1] "2012-10-15 10:07:28.981 CDT"
R> fasttime::fastPOSIXct(format(now))
[1] "2012-10-15 05:07:28.980 CDT"
R> as.Date(fasttime::fastPOSIXct(format(now)))
[1] "2012-10-15"
R>
然而,它仅解析ISO格式并假定时区为UTC。
经过三年半的编辑:一些评论者似乎认为 fasttime 包很难安装。我不这么认为。这里是(再次)使用install.r
的方法,它只是一个简单的包装器,使用littler(也作为示例随附):
edd@max:~$ install.r fasttime
trying URL 'https://cran.rstudio.com/src/contrib/fasttime_1.0-1.tar.gz'
Content type 'application/x-gzip' length 2646 bytes
==================================================
downloaded 2646 bytes
* installing *source* package ‘fasttime’ ...
** package ‘fasttime’ successfully unpacked and MD5 sums checked
** libs
ccache gcc -I/usr/share/R/include -DNDEBUG -fpic -g -O2 -fstack-protector-strong -Wformat -Werror=format-security -D_FORTIFY_SOURCE=2 -g -O3 -Wall -pipe -pedantic -std=gnu99 -c tparse.c -o tparse.o
ccache gcc -shared -L/usr/lib/R/lib -Wl,-Bsymbolic-functions -Wl,-z,relro -o fasttime.so tparse.o -L/usr/lib/R/lib -lR
installing to /usr/local/lib/R/site-library/fasttime/libs
** R
** preparing package for lazy loading
** help
*** installing help indices
** building package indices
** testing if installed package can be loaded
* DONE (fasttime)
The downloaded source packages are in
‘/tmp/downloaded_packages’
edd@max:~$
正如您所看到的,该软件包没有任何外部依赖关系,只有一个源文件,并且构建过程非常顺利。我们还可以看到,fasttime现在已经出现在CRAN上了,这在回答撰写时并不是这样。因此,在那个页面上,Windows和OS X二进制文件现在确实存在,即使您不从源代码安装,安装过程也会像我一样轻松。
read.csv
是否做了同样的转换吗?这可能不会有影响。 - Alexdata.table
的问题...但不是。我有什么遗漏吗? - Alexstrptime
,而OP自己的答案展示了他编写的一些代码,将转换时间缩短了约10倍... - Ben Bolker