使用Python将数据复制到Vertica

Question

我使用python和vertica-python库将数据COPY到Vertica数据库。

connection = vertica_python.connect(**conn_info)
vsql_cur = connection.cursor()

with open("/tmp/vertica-test-insert", "rb") as fs:
    vsql_cur.copy( "COPY table FROM STDIN DELIMITER ',' ", fs, buffer_size=65536)
    connection.commit()

它插入数据，但只有5行，尽管文件包含更多。这可能与数据库设置有关，或者是某些客户端问题吗？

- andylens

---

你调试代码放在哪里了？你检查过被拒绝的行吗？ - Kermit

Answer 1

这段代码对我有效：

针对JSON

# for json file
with open("D:/SampleCSVFile_2kb/tweets.json", "rb") as fs:
    my_file = fs.read().decode('utf-8')
    cur.copy( "COPY STG.unstruc_data FROM STDIN parser fjsonparser()", my_file)
    connection.commit()

对于CSV

# for csv file
with open("D:/SampleCSVFile_2kb/SampleCSVFile_2kb.csv", "rb") as fs:
    my_file = fs.read().decode('utf-8','ignore')
    cur.copy( "COPY STG.unstruc_data FROM STDIN PARSER FDELIMITEDPARSER (delimiter=',', header='false') ", my_file) # buffer_size=65536
    connection.commit()

- Waqas Ali

Answer 2

很可能你有行数据被拒绝了。假设你使用的是7.x版本，你可以添加以下内容：

[ REJECTED DATA {'path' [ ON nodename ] [, ...] | AS TABLE 'reject_table'} ]

在执行复制操作后，你还可以查询以下语句以查看结果的摘要：

SELECTGET_NUM_ACCEPTED_ROWS(),GET_NUM_REJECTED_ROWS();

- woot