我有近3000个CSV文件(包含推文),格式相同,我想将这些文件合并成一个新文件并删除重复的推文。我已经看到了许多类似问题的讨论,但通常文件数量很少。我希望你能帮我编写一段R代码,既高效又有效地完成此任务。
CSV文件的格式如下:
CSV格式图像:
我更改了第2列和第3列中的用户名(在Twitter上)为A-E,并将“实际名称”更改为A1-E1。
原始文本文件:
一些标题出现问题,它们明显应该向右移动一列。每个CSV文件最多包含1500条推文。我想通过检查第二列(包含推文)来删除重复项,因为这些应该是唯一的,作者列可以相似(例如,一个作者发布多条推文)。
合并文件和删除重复项是否可能结合在一起,还是这会带来麻烦,应该分开处理?作为起点,我包括了两个链接,Hayward Godwin的两篇博客,讨论了三种合并CSV文件的方法。 很明显,这个网站上也有一些与我的问题相关的主题(例如在R中合并多个CSV文件),但我没有找到任何同时讨论合并和去重复的内容。我真的希望你能帮助我和我有限的R知识来处理这个挑战!
虽然我尝试了一些在网上找到的代码,但实际上并没有生成输出文件。约3000个CSV文件具有上面讨论的格式。我主要尝试了以下代码(用于合并部分):
这会导致以下错误:
在第四行之后,我得到了:
我怀疑这些错误是由于csv文件写入过程中出现了一些故障造成的,因为有些情况下作者/本地时间在错误的列中。它们应该在左侧或右侧,这导致了一个额外的列。我手动调整了5个文件,并对这些文件进行了测试,没有发现任何错误。然而,似乎什么也没发生。我没有从R获得任何输出?
为了解决额外的列问题,我稍微调整了代码:
CSV文件的格式如下:
CSV格式图像:
![Example CSV files](https://istack.dev59.com/GfIMy.webp)
原始文本文件:
"tweet";"author";"local.time"
"1";"2012-06-05 00:01:45 @A (A1): Cruijff z'n met-zwart-shirt-zijn-ze-onzichtbaar logica is even mooi ontkracht in #bureausport.";"A (A1)";"2012-06-05 00:01:45"
"2";"2012-06-05 00:01:41 @B (B1): Welterusten #BureauSport";"B (B1)";"2012-06-05 00:01:41"
"3";"2012-06-05 00:01:38 @C (C1): Echt ..... eindelijk een origineel sportprogramma #bureausport";"C (C1)";"2012-06-05 00:01:38"
"4";"2012-06-05 00:01:38 @D (D1): LOL. \"Na onderzoek op de Fontys Hogeschool durven wij te stellen dat..\" Want Fontys staat zo hoog aangeschreven? #bureausport";"D (D1)";"2012-06-05 00:01:38"
"5";"2012-06-05 00:00:27 @E (E1): Ik kijk Bureau sport op Nederland 3. #bureausport #kijkes";"E (E1)";"2012-06-05 00:00:27"
一些标题出现问题,它们明显应该向右移动一列。每个CSV文件最多包含1500条推文。我想通过检查第二列(包含推文)来删除重复项,因为这些应该是唯一的,作者列可以相似(例如,一个作者发布多条推文)。
合并文件和删除重复项是否可能结合在一起,还是这会带来麻烦,应该分开处理?作为起点,我包括了两个链接,Hayward Godwin的两篇博客,讨论了三种合并CSV文件的方法。 很明显,这个网站上也有一些与我的问题相关的主题(例如在R中合并多个CSV文件),但我没有找到任何同时讨论合并和去重复的内容。我真的希望你能帮助我和我有限的R知识来处理这个挑战!
虽然我尝试了一些在网上找到的代码,但实际上并没有生成输出文件。约3000个CSV文件具有上面讨论的格式。我主要尝试了以下代码(用于合并部分):
filenames <- list.files(path = "~/")
do.call("rbind", lapply(filenames, read.csv, header = TRUE))
这会导致以下错误:
Error in file(file, "rt") : cannot open the connection
In addition: Warning message:
In file(file, "rt") :
cannot open file '..': No such file or directory
更新
我尝试了以下代码:
# grab our list of filenames
filenames <- list.files(path = ".", pattern='^.*\\.csv$')
# write a special little read.csv function to do exactly what we want
my.read.csv <- function(fnam) { read.csv(fnam, header=FALSE, skip=1, sep=';', col.names=c('ID','tweet','author','local.time'), colClasses=rep('character', 4)) }
# read in all those files into one giant data.frame
my.df <- do.call("rbind", lapply(filenames, my.read.csv))
# remove the duplicate tweets
my.new.df <- my.df[!duplicated(my.df$tweet),]
但是我遇到了以下错误:
在第三行之后,我得到了:
Error in read.table(file = file, header = header, sep = sep, quote = quote, : more columns than column names
在第四行之后,我得到了:
Error: object 'my.df' not found
我怀疑这些错误是由于csv文件写入过程中出现了一些故障造成的,因为有些情况下作者/本地时间在错误的列中。它们应该在左侧或右侧,这导致了一个额外的列。我手动调整了5个文件,并对这些文件进行了测试,没有发现任何错误。然而,似乎什么也没发生。我没有从R获得任何输出?
为了解决额外的列问题,我稍微调整了代码:
#grab our list of filenames
filenames <- list.files(path = ".", pattern='^.*\\.csv$')
# write a special little read.csv function to do exactly what we want
my.read.csv <- function(fnam) { read.csv(fnam, header=FALSE, skip=1, sep=';', col.names=c('ID','tweet','author','local.time','extra'), colClasses=rep('character', 5)) }
# read in all those files into one giant data.frame
my.df <- do.call("rbind", lapply(filenames, my.read.csv))
# remove the duplicate tweets
my.new.df <- my.df[!duplicated(my.df$tweet),]
我在所有文件上尝试了这段代码,虽然R明显开始处理,但最终出现了以下错误:
Error in read.table(file = file, header = header, sep = sep, quote = quote, : more columns than column names
In addition: Warning messages:
1: In read.table(file = file, header = header, sep = sep, quote = quote, : incomplete final line found by readTableHeader on 'Twitts - di mei 29 19_22_30 2012 .csv'
2: In read.table(file = file, header = header, sep = sep, quote = quote, : incomplete final line found by readTableHeader on 'Twitts - di mei 29 19_24_31 2012 .csv'
Error: object 'my.df' not found
我做错了什么?
filename
包含你想要导入的正确文件列表吗?这段代码显然在一个read.csv
语句上出现问题。可能需要更改list.files()
以返回完整路径。你的工作目录是什么? - Andrielist.files
应该可以获取正确的文件。它能行吗?你有检查过吗?如果你的工作目录与~/
不同,那么它就不会起作用。 - Andrie