27得票6回答
如何将数据从一个HDFS复制到另一个HDFS?

我有两个HDFS设置,并且希望将一些表从HDFS1复制(而不是迁移或移动)到HDFS2。如何从一个HDFS复制数据到另一个HDFS? 是否可以通过Sqoop或其他命令行实现?

22得票5回答
如何在Java程序中使用Sqoop?

我知道如何通过命令行使用sqoop。 但是不知道如何在Java程序中调用sqoop命令。 有人可以给一些代码示例吗?

22得票7回答
Flume 和 Sqoop 有什么区别?

Flume和Sqoop都是数据移动工具,它们之间的区别是什么?在什么情况下应该使用Flume或Sqoop?

20得票6回答
Sqoop导入带有where子句的SQL查询

sqoop import --connect jdbc:teradata://192.168.xx.xx/DBS_PORT=1025,DATABASE=ds_tbl_db --driver com.teradata.jdbc.TeraDriver --username dbc --pas...

16得票7回答
Sqoop 1.4.4中,Sqoop Import --password-file功能无法正常工作。

我正在使用 hadoop-1.2.1 版本和 sqoop-1.4.4 版本。 我正在尝试运行如下的查询。sqoop import --connect jdbc:mysql://IP:3306/database_name --table clients --target-dir /data/c...

15得票5回答
以下是Sqoop中的哪些命令?

请问--split-by和boundary查询在sqoop中有什么用途? 在sqoop中,通过使用--split-by参数可以指定一个列作为划分的依据。例如,在上面的命令中,我们使用了--split-by table.id来根据table表中的id列进行划分。而--boundary-que...

14得票2回答
PostgreSQL - FATAL: Ident身份验证失败,用户无法登录。

我在Postgres中创建了一个名为employees的简单表,它位于数据库mytestdb中。 我想将这个表导入到HDFS中。bin/sqoop import --connect 'jdbc:postgresql://127.0.0.1/mytestdb' --username user ...

14得票7回答
Apache Spark-SQL与Sqoop在将数据从关系型数据库传输到hdfs时的基准测试

我正在处理这样一种情况,需要将关系型数据库的数据传输到 HDFS。我们使用 sqoop 进行了基准测试,发现我们能够在 6-7 分钟内传输大约 20GB 的数据。 然而,当我尝试使用 Spark SQL 进行同样的操作时,性能非常差(1 GB 记录从 netezza 到 hdfs 需要 4 ...

12得票1回答
将数据从HDFS导入到HBase(cdh3u2)

我安装了hadoop和hbase cdh3u2。在hadoop中,我有一个位于路径/home/file.txt的文件。它包含如下数据one,1 two,2 three,3 我想将这个文件导入到HBase中。第一个字段应解析为字符串,第二个字段应解析为整数,然后将其推送到HBase中。请帮我完成...

11得票6回答
--warehouse-dir和--target-dir命令在sqoop中的区别

我无法理解sqoop中以下命令的区别。如果有人能用简单的例子来解释一下就好了。 --warehouse-dir and --target-dir 谢谢