读取CSV文件时出现“EOF within quoted string”警告，导致文件读取不完整。

Question

我有一个CSV文件（24.1 MB），下载链接在此，但我无法完全将其读入我的R会话。当我在电子表格程序中打开文件时，我可以看到112,544行。但是，当我使用read.csv将其读入R时，我只得到了56,952行，并出现了警告：

cit <- read.csv("citations.CSV", row.names = NULL, 
                comment.char = "", header = TRUE, 
                stringsAsFactors = FALSE,  
                colClasses= "character", encoding= "utf-8")

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

我可以使用readLines将整个文件读入R中：

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

但是我无法将这个数据以表格形式（通过 read.csv）重新导入R：

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)

Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
  EOF within quoted string

如何解决或绕过这个EOF消息（看起来更像是一个错误而不是警告），以便将整个文件导入我的R会话？

我在使用其他读取CSV文件的方法时也遇到了类似的问题：

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

这是我的sessionInfo()

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    

attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
 [1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4        
 [5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5         
 [9] proto_0.3-10          DBI_0.2-7   

- Ben

Answer 1

您需要禁用引用功能。

cit <- read.csv("citations.CSV", quote = "", 
                 row.names = NULL, 
                 stringsAsFactors = FALSE)

str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

我认为是因为这些代码行（检查“Thorn”和“Minus”）。

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"

- dickoa

---

谢谢，那很容易解决。现在你觉得在这种情况下让 fread 起作用怎么样？我更喜欢它，因为它比 read.csv 快得多。但是 fread 似乎不接受 quote 参数... - Ben

@Ben我也尝试过让它正常工作，但没有成功。正如你指出的那样，fread通常不支持嵌套引号，但我相信很快就会有解决方法出现。https://dev59.com/3HHYa4cB1Zd3GeqPHyBa - dickoa

当我使用write.csv()时，我有7,000行数据，但使用read.csv()只返回了403行。添加quote = ""后，我得到了410行。即使使用read.table()也没有改善。我想知道还有什么其他的尝试方法... - Hack-R

和Hack-R一样的问题，添加了quote = ""后我的行数增加了30,000，但我仍然缺失超过200,000个。 - SJDS

你能否简单说明一下为什么需要添加那个呢？（我是一名Python程序员，正在学习R语言）。否则答案很完美（+1）。 - Bhargav Rao

Answer 2

我是一个相对较新的R语言使用者，为了帮助其他人，我想分享一下我的经验。我试图从一个包含一些西班牙字符的用逗号分隔的文本文件中读取数据，但是花费了我很长时间才弄清楚。

我知道我需要使用UTF-8编码，将header参数设置为TRUE，并且需要将sep参数设置为“，”，但是我仍然遇到了问题。阅读了这篇文章后，我尝试将fill参数设置为TRUE，但是仍然出现了“EOF within quoted string”的错误，最终我还是按照上述方式解决了它。我成功的read.table代码如下：

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

结果包含了西班牙语字符并且与原始数据拥有相同的尺寸，因此我认为这是成功的！感谢大家！

- mjd876

Answer 3

在R的帮助部分中，如上所述，只需完全禁用引用，只需简单地添加以下内容：

    quote = "" 

对于我来说，使用read.csv()函数起了作用。

“EOF within quoted string”错误发生在以下情况：

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F)
    Warning message:
    In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
      EOF within quoted string
    > dim(iproscan.53A.neg)
    [1] 69383    16

读入的文件缺少6,619行。但是通过禁用引用，问题得到了解决。

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
    +                        colClasses=c(pb.id      = "character",
    +                                     genLoc     = "character",
    +                                     icode      = "character",
    +                                     length     = "character",
    +                                     proteinDB  = "character",
    +                                     protein.id = "character",
    +                                     prot.desc  = "character",
    +                                     start      = "character",
    +                                     end        = "character",
    +                                     evalue     = "character",
    +                                     tchar      = "character",
    +                                     date       = "character",
    +                                     ipro.id    = "character",
    +                                     prot.name  = "character",
    +                                     go.cat     = "character",
    +                                     reactome.id= "character"),
    +                                     as.is=T,header=F,**quote=""**)    
    > 
    > dim(iproscan.53A.neg)
    [1] 76002    16

工作没有出现错误，所有行都被成功读取。

- Anne Deslattes Mays

---

你重复了之前的回答，并通过在代码块内添加不必要的双星号来降低其实用性。 - IRTFM

Answer 4

我也遇到了类似的问题。但在我的情况下，问题的原因是一些文本值中包含撇号（即单引号）。特别是当处理包含法语文本的数据时，例如“L'autre jour”。

因此，解决方案很简单，只需将引用参数的默认设置调整为排除“'”符号，并使用quote="\""（即仅限双引号），那么一切都可以正常工作。

希望这能对你们有所帮助。干杯。

- marQIsoftGuy

Answer 5

readr 软件包可以解决这个问题。

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')

- vladiim

---

这是解决问题的答案，我检查了所有以上的答案，但对我都没有用。 - Masoud

Answer 6

实际上，使用 read.csv() 读取文本文件并不是一个好主意，禁用引号就像设置 quote="" 一样只是一个临时解决方案，它只适用于分隔符括号相同的情况。还有其他原因会导致警告，比如一些特殊字符。

永久解决方案（使用 read.csv()）是找出这些特殊字符并使用正则表达式来消除它们。

您有没有想过安装 {data.table} 包并使用 fread() 读取文件。它速度更快，不会麻烦您 EOF 警告。请注意，它加载的文件将存储为 data.table 对象而不是 data.frame 对象。data.table 类具有许多好的功能，但无论如何，如果需要，都可以使用 as.data.frame() 进行转换。

- floatsd

Answer 7

我也遇到了这个问题，通过以下方法解决了类似于EOF错误的问题：

read.table("....csv", sep=",", ...)

请注意，分隔符参数是在更通用的 read.table() 函数中进行定义的。

- Tony T

---

嗨，这对我不起作用...我得到了一个错误：在read.table(".csv", :)中出现错误： 列数比列名多 - 看起来跳过（skip = 6）没有正确工作... - maycca

Answer 8

我有类似的问题：使用read.csv()时出现EOF警告，只加载了部分数据。我尝试了quotes = ""，但只是消除了EOF警告。

但是当我查看第一行未加载的内容时，我发现其中一个单元格中有一个特殊字符，一个箭头→（十六进制值为0x1A）。删除这个箭头后，我成功地将数据正常加载。

- ElinaJ

---

同样的问题，有没有其他方法可以解决，而不需要任何手动干预？ - Mohit

Answer 9

我遇到了同样的问题，即加载大于100000行的数据集时出现了问题。read.csv()函数可能在加载超过数据集特定大小（行数）时存在一些限制。相反，您可以使用"data.table"库中的"fread()"函数。

- Md. Redwan Ahmad Khan