MySQL LOAD DATA INFILE 的帮助

Question

MySQL LOAD DATA INFILE 的帮助

3

我想要加载一个看起来像这样的CSV文件:

Acct. No.,1-15 Days,16-30 Days,31-60 Days,61-90 Days,91-120 Days,Beyond 120 Days
2314134101,898.89,8372.16,5584.23,7744.41,9846.54,2896.25
2414134128,5457.61,7488.26,9594.02,6234.78,273.7,2356.13
2513918869,2059.59,7578.59,9395.51,7159.15,5827.48,3041.62
1687950783,4846.85,8364.22,9892.55,7213.45,8815.33,7603.4
2764856043,5250.11,9946.49,8042.03,6058.64,9194.78,8296.2
2865446086,596.22,7670.04,8564.08,3263.85,9662.46,7027.22
,4725.99,1336.24,9356.03,1572.81,4942.11,6088.94
,8248.47,956.81,8713.06,2589.14,5316.68,1543.67
,538.22,1473.91,3292.09,6843.89,2687.07,9808.05
,9885.85,2730.72,6876,8024.47,1196.87,1655.29

但是如果您注意到，有一些字段是不完整的。我认为MySQL会直接跳过第一列缺失的行。当我运行以下命令时：

LOAD DATA LOCAL INFILE 'test-long.csv' REPLACE INTO TABLE accounts
    FIELDS TERMINATED BY ',' LINES TERMINATED BY '\r\n'
    IGNORE 1 LINES
    (cf_535, cf_580, cf_568, cf_569, cf_571, cf_572);

MySQL 的输出结果如下：

Query OK, 41898 rows affected, 20948 warnings (0.78 sec)
Records: 20949  Deleted: 20949  Skipped: 0  Warnings: 20948

行数只有20949行，但MySQL报告影响了41898行。为什么会这样？而且表中什么也没变。我也看不出生成的警告是关于什么的。我想使用LOAD DATA INFILE，因为它只需要半秒钟就能更新一行数据，对于一个包含20000多条记录的文件来说，这相当于2.77小时。

更新：修改代码将自动提交设置为“False”，并添加了db.commit()语句。

# Tell MySQLdb to turn off auto-commit
db.autocommit(False) 

# Set count to 1
count = 1
while count < len(contents):
    if contents[count][0] != '':
        cursor.execute("""
            UPDATE accounts SET cf_580 = %s, cf_568 = %s, cf_569 = %s, cf_571 = %s, cf_572 = %s
            WHERE cf_535 = %s""" % (contents[count][1], contents[count][2], contents[count][3], contents[count][4], contents[count][5], contents[count][0]))
    count += 1

try:
    db.commit()
except:
    db.rollback()

- FrancisV

2个回答

0

如果您在LOAD DATA中使用REPLACE关键字，则“Deleted:”后面的数字显示实际替换了多少行。

- noonex

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Lucky · Accepted Answer

您基本上有3个问题。按照相反的顺序来看：

您是否在单个语句中执行Python插入操作？您可能希望将它们全部包含在一个begin transaction/commit中。20000次提交可能需要数小时。
您的导入语句定义了6个字段，但CSV有7个字段。这可以解释为什么行数会翻倍：每行输入都会在数据库中产生2行数据，第二个数据行的字段2-6为空。
不完整的行将插入具有缺失列的null或默认值。对于那些不良格式的行，这可能并不是您想要的。

如果您的Python程序即使使用单个事务也无法快速执行，则至少应该让Python程序在导入之前编辑/清理数据文件。如果Acct. No.是主键，如此合理，那么插入空白行将导致整个导入失败，或者如果自动编号打开，则导致虚假数据被导入。