请问如何在没有任何 Hadoop 连接器的情况下快速导出到 Hive 到 Vertica?
目前我通过 Unix 命名管道导出相同的东西,但性能不太好。
几乎需要 5 个并行线程将数据加载到 Vertica,时间大约为 230 分钟,用于 16 亿记录集?
请有人帮助我提高这种性能,并且如果我们可以优化此导出吗?
谢谢, abhi
请问如何在没有任何 Hadoop 连接器的情况下快速导出到 Hive 到 Vertica?
目前我通过 Unix 命名管道导出相同的东西,但性能不太好。
几乎需要 5 个并行线程将数据加载到 Vertica,时间大约为 230 分钟,用于 16 亿记录集?
请有人帮助我提高这种性能,并且如果我们可以优化此导出吗?
谢谢, abhi
hive -e "select whatever FROM wherever" | \
dd bs=1M | \
/opt/vertica/bin/vsql -U $V_USERNAME -w $V_PASSWORD -h $HOST $DB -c \
"COPY schema.table FROM LOCAL STDIN DELIMITER E'\t' NULL 'NULL' DIRECT"