使用CSV存储引擎直接从CSV文件创建MySQL表？

Question

我刚刚了解到MySQL有一个本地的CSV存储引擎，它会将每个表的数据存储在逗号分隔值文件中。

是否可以直接从上传的CSV文件中创建表格，类似于以下内容：

CREATE TABLE USERS < PATH/USERS.CSV

用户上传的 users.csv 文件存储在哪里？

- Jonathan DS

---

这并不是一个确切的答案，但你可能指的是LOAD DATA INFILE http://dev.mysql.com/doc/refman/5.1/en/load-data.html，其文本文件类似于CSV结构化文件。 - georgepsarakis

你可以使用该工具（https://csv-schema.surge.sh/）将CSV转换为CREATE TABLE（带有架构）。它会尝试猜测字段类型（相当不错）。 - s1x

我发现 PostgreSQL 可以使用 file_fdw 直接查询 CSV 文件。 https://www.postgresql.org/docs/9.5/file-fdw.html - Jonathan DS

Answer 1

我刚刚发现了csvkit，它是一组用于CSV文件的Unix命令行工具。我使用pip install csvkit在我的Mac上安装了它。命令是：

csvsql --dialect mysql --snifflimit 100000 bigdatafile.csv > maketable.sql

你也可以提供一个数据库连接字符串，它可以直接加载表。

- prototype

---

这个工具太棒了，谢谢！它是免费的，用Python制作，而且“只是有效”。 - Anentropic

在基于Debian的系统上，您可以通过sudo apt-get install python3-csvkit安装它。 - Marc Johnen

直接将CSV文件导入（MySQL）数据库，可以尝试以下方法： csvsql --db mysql://user:password@localhost:3306/dbschema --tables mytable --insert file.csv（您还需要安装python3-pymysql）。 - Marc Johnen

这个工具真是太棒了。 - laughing_man

我安装了csvkit，运行csvsql命令，但是我得到的是“'acsii' codec can't encode character ...”。我使用的是python 2.7，ubuntu 14.04。有人能给点帮助吗？非常感谢！ - Leiksu

请将此视为已接受的答案。效果非常好。 - P. Šileikis

Answer 2

这是不可能的。要创建一个表，你需要一个表模式。你所拥有的是数据文件。无法使用它创建模式。

你可以做的是检查文件是否有标题行，并在这种情况下使用该标题行手动创建表格。

然而，有一种方法可以使用批处理文件生成一个创建表语句，如MySQL手册中John Swapceinski在评论部分所述。

由John Swapceinski于2011年9月5日上午5:33发布。
使用.csv文件的标题创建表：

#!/bin/sh
# pass in the file name as an argument: ./mktable filename.csv
echo "create table $1 ( "
head -1 $1 | sed -e 's/,/ varchar(255),\n/g'
echo " varchar(255) );"

- Shiplu Mokaddim

---

基于John的脚本，发布了一个扩展版本，位于http://en.positon.org/post/Import-CSV-file-to-MySQL。请注意，此处仅返回翻译后的文本内容。 - Alvin

扩展版本仍然可用于http://en.positon.org/，只需使用“CTRL+F”搜索“将CSV文件导入MySQL”。 - user1685185

我是否正确地认为这个脚本将所有列都创建为 VARCHAR(255)？如果是这样的话，那么它并不是真正有用的。 - Heisenberg

你是正确的。同时注意到CSV文件不提供类型信息，因此在这里无法使用类型。 - Shiplu Mokaddim

一直在寻找这个。 - Nicholas DiPiazza

虽然字面上来说这是不可能确定的，但许多电子表格和csvkit（如下）在导入csv文件时可以很好地假设数据类型，使得在大多数情况下可以创建模式。即使在无法确定的情况下，它仍然可以为您提供一个几乎完整的SQL语句，相比从头开始编写，节省了大量时间。 - mightypile

Answer 3

我建议使用MySQL Workbench来导入数据。Workbench允许用户从CSV或JSON格式的文件中创建新表。通过向导，它可以在几个点击内处理表模式和数据导入。

在MySQL Workbench中，在表列表上使用上下文菜单，点击Table Data Import Wizard。

有关更多MySQL Workbench6.5.1表数据导出和导入向导可在此查询。下载MySQL Workbench。

- Jan Damek

---

请不要只给出链接，而是描述如何解决问题！请参阅如何回答。 - jkalden

也许这是MySQL Workbench的最新补充，但这比以前的所有解决方案都更简单和直接。 - Fred Andrews

有没有一种方法可以对多个CSV文件执行此操作？ - petko

我的 CSV 文件很大，大约有 20 MB，将它们导入数据库花费了我将近 20 分钟的时间。在某些时候，我认为进度条没有变化，可能是它卡住了。但最终还是成功导入了，只有几个错误信息，不算什么大问题。 - stoneshishang

这个表格数据导入向导解决方案的等效代码是什么？ - GitHunter0

Answer 4

"将CSV转换为SQL"对我很有帮助。只需添加您的CSV文件，即可开始使用。"

- pal4life

---

正是我所需要的。谢谢！ - Future

Answer 5

如果你使用phpMyAdmin作为MySQL前端，有一种更简单的办法：

1. 使用默认设置创建一个数据库。
2. 选择该数据库。
3. 点击屏幕顶部的“导入”按钮。
4. 在“格式”下选择“CSV”。
5. 根据你的CSV文件选择合适的选项，在文本编辑器中打开CSV文件以获取“合适”的选项。

如果你遇到问题，不用担心，只需删除数据库并重试即可。

- Bill Isaacs

---

在“格式”选项下没有选择除csv以外的任何选项。 - pal4life

你需要重命名表格，但这是最简单的pma解决方案。 - dval

它声称有2MB的限制，但却无法正常工作 - 因此基本上是无用的。 - InterLinked

Answer 6

除了其他提到的解决方案之外，Mac用户可能需要注意SQL Pro具有CSV导入选项，该选项工作相当不错且灵活 - 您可以在导入时更改列名称和字段类型。否则，初始对话框可能会让人感到沮丧。 Sequel Pro - 用于处理MySQL数据库的数据库管理应用程序。

- Tim Green

---

刚刚发现MySQL Workbench也可以做到这一点，但是多年来Sequel Pro一直是首选，因为它可以很好地处理CSV->Table。 - Matthew Poer

Answer 7

如果有人正在寻找PHP解决方案，请查看 "PHP_MySQL_wrapper"：

$db = new MySQL_wrapper(MySQL_HOST, MySQL_USER, MySQL_PASS, MySQL_DB);
$db->connect(); 

// this sample gets column names from first row of file
//$db->createTableFromCSV('test_files/countrylist.csv', 'csv_to_table_test');

// this sample generates column names 
$db->createTableFromCSV('test_files/countrylist1.csv', 'csv_to_table_test_no_column_names', ',', '"', '\\', 0, array(), 'generate', '\r\n');

/** Create table from CSV file and imports CSV data to Table with possibility to update rows while import.
 * @param   string      $file           - CSV File path
 * @param   string      $table          - Table name
 * @param   string      $delimiter      - COLUMNS TERMINATED BY (Default: ',')
 * @param   string      $enclosure      - OPTIONALLY ENCLOSED BY (Default: '"')
 * @param   string      $escape         - ESCAPED BY (Default: '\')
 * @param   integer     $ignore         - Number of ignored rows (Default: 1)
 * @param   array       $update         - If row fields needed to be updated eg date format or increment (SQL format only @FIELD is variable with content of that field in CSV row) $update = array('SOME_DATE' => 'STR_TO_DATE(@SOME_DATE, "%d/%m/%Y")', 'SOME_INCREMENT' => '@SOME_INCREMENT + 1')
 * @param   string      $getColumnsFrom - Get Columns Names from (file or generate) - this is important if there is update while inserting (Default: file)
 * @param   string      $newLine        - New line delimiter (Default: \n)
 * @return  number of inserted rows or false
 */
// function createTableFromCSV($file, $table, $delimiter = ',', $enclosure = '"', $escape = '\\', $ignore = 1, $update = array(), $getColumnsFrom = 'file', $newLine = '\r\n')

$db->close();

- rjanjic

Answer 8

你可以使用这个bash脚本，convert.sh，然后运行。

./convert.sh -f example/mycsvfile.csv

- Luca

Answer 9

这是我的脚本，用于将CSV文件列表加载到MySQL数据库，包括根据文件的第一行创建表格：

#!/bin/bash

CREDENTIALS="--user=root --password=password --host=localhost --port=3306"
CSVOPTIONS="$CREDENTIALS --local --delete --lock-tables --fields-terminated-by=; --fields-optionally-enclosed-by=\" --lines-terminated-by=\n"
FOLDER='my/folder'

files=(
    foo.csv
    bar.csv
)

for i in "${files[@]}"
do
    # get table name from file name
    TABLE="$(basename -- $i)"
    TABLE="${TABLE%.*}"

    # create the table
    COMMAND="DROP TABLE IF EXISTS $TABLE; CREATE TABLE $TABLE ( $(head -1 $FOLDER/$i | sed -e 's/;/ varchar(255),\n/g') varchar(255) );"
    mysql $CREDENTIALS $DB -e "$COMMAND"

    # fill in data
    mysqlimport $CSVOPTIONS --ignore-lines=1 $DB "$FOLDER/$i"

done

- juku

Answer 10

我采用了shiplu.mokadd.im的脚本来满足我的需求。对于它感兴趣的人：

#!/bin/bash
if [ "$#" -lt 2 ]; then
    if [ "$#" -lt 1 ]; then 
        echo "usage: $0 [path to csv file] <table name> > [sql filename]"
        exit 1
    fi
    TABLENAME=$1
else
    TABLENAME=$2
fi
echo "CREATE TABLE $TABLENAME ( "
FIRSTLINE=$(head -1 $1)
# convert lowercase characters to uppercase
FIRSTLINE=$(echo $FIRSTLINE | tr '[:lower:]' '[:upper:]')
# remove spaces
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/ /_/g')
# add tab char to the beginning of line
FIRSTLINE=$(echo "\t$FIRSTLINE")
# add tabs and newline characters
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/,\\n\\t/g')
# add VARCHAR
FIRSTLINE=$(echo $FIRSTLINE | sed -e 's/,/ VARCHAR(255),/g')
# print out result
echo -e $FIRSTLINE" VARCHAR(255));"

- Johann Horvat