MySQL有一个很好的CSV导入功能LOAD DATA INFILE。
我有一个需要定期从CSV导入的大型数据集，因此这个功能正是我所需要的。我已经有一个可以完美导入我的数据的工作脚本。
.....除了.... 我不知道行尾终止符会是什么。
目前我的SQL代码看起来像这样：
LOAD DATA INFILE '{fileName}'
INTO TABLE {importTable}
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES
( {fieldList} );
这对于某些导入文件非常有效。
然而，导入的数据来自多个来源。其中一些具有\n终止符号；另一些则具有\r\n。
我无法预测我会得到哪一个。
是否可以使用LOAD DATA INFILE来指定我的行可能以\n或\r\n中的任何一个终止符号作为结尾？我该如何处理这种情况？
ITEM2 | CLASS3 | DATE2之后分隔符才是'\n'：COL1 | COL2 | COL3
ITEM1 | CLASS1 | DATE1
ITEM2 | CLASS3 | DATE2
ITEM3 | CLASS1 | DATE3
ITEM4 | CLASS2 | DATE4
CREATE TABLE语句：
CREATE TABLE entries(
column1 VARCHAR(255) DEFAULT NULL,
column2 VARCHAR(255) DEFAULT NULL,
column3 VARCHAR(255) DEFAULT NULL
)
我们的LOAD DATA INFILE查询：
LOAD DATA INFILE 'entries.txt' INTO TABLE entries
FIELDS TERMINATED BY '|'
LINES TERMINATED BY '\n'
IGNORE 1 LINES
(column1, column2, @var)
SET column3 = TRIM(TRAILING '\r' FROM @var);
显示结果：
SELECT * FROM entries;
+---------+----------+---------+
| column1 | column2 | column3 |
+---------+----------+---------+
| ITEM1 | CLASS1 | DATE1 |
| ITEM2 | CLASS3 | DATE2 |
| ITEM3 | CLASS1 | DATE3 |
| ITEM4 | CLASS2 | DATE4 |
+---------+----------+---------+
COL3被引用了，会怎样呢？当MySQL在引用字段结束和行终止符之间遇到意外字符时，这不会导致解析器错误吗？如果column3是未引用的文本，并且应该以\r字符结尾（可能最好做一些稍微丑陋的事情，涉及测试最后一个字符，如果是\r，则仅删除该字符）？ - eggyal...\r\r\r - 是的，这种方法可以重写以仅删除最后一个 \r。 - Devart我只需要对其进行预处理。将\r\n替换为\n的全局搜索/替换操作可作为导入过程的一部分通过命令行工具轻松地实现，简单且高效。
我假设您只需要通过mysql获取信息，而不是通过任何编程语言。
在使用load data之前，如果您使用的是notepad++，请将格式转换为windows格式\r\n（CR LF）。然后处理Load data查询。确保LINES TERMINATED BY '\r\n'。
编辑：
由于编辑器通常不适合转换较大的文件。对于较大的文件，经常使用以下命令，无论是在windows还是linux中。
1）在Windows中将其转换为Windows格式
TYPE [unix_file] | FIND "" /V > dos_file
2) 在Linux中将文件转换为Windows格式
unix2dos [file]
其他可用的命令如下：
可以通过 tr -d '\r' < inputfile > outputfile 命令将Windows格式文件转换为Unix格式，只需删除所有ASCII CR \r字符即可。
grep -PL $'\r\n' myfile.txt # show UNIX format style file (LF terminated)
grep -Pl $'\r\n' myfile.txt # show WINDOS format style file (CRLF terminated)
为什么不先看一眼行末是如何的呢？
$handle = fopen('inputFile.csv', 'r');
$i = 0;
if ($handle) {
while (($buffer = fgets($handle)) !== false) {
$s = substr($buffer,-50);
echo $s;
echo preg_match('/\r/', $s) ? 'cr ' : '-- ';
echo preg_match('/\n/', $s) ? 'nl<br>' : '--<br>';
if( $i++ > 5)
break;
}
fclose($handle);
}
您可以使用“LINES STARTING”来分隔文本中的常规行尾和新行：
LOAD DATA LOCAL INFILE '/home/laptop/Downloads/field3-utf8.csv'
IGNORE INTO TABLE Field FIELDS
TERMINATED BY ';'
OPTIONALLY ENCLOSED BY '^'
LINES STARTING BY '^'
TERMINATED BY '\r\n'
(Id, Form_id, Name, Value)
对于通常带有“引号”的CSV文件，它将是：
...
LINES STARTING BY '"'
...
\n（大多数*nix系统，包括OS X）和\r\n（Windows）--如果是这种情况，@Devart的答案看起来完美无缺--或者你可能会遇到其他行终止序列，例如\n\r（例如来自RISC OS），\r（例如Mac OS 9）和其他一些？ - eggyal