我在HIVE中有一个示例表(stuends1),我想使用JDBC从Spark连接它(因为Hive在AWS上,而不是同一集群中)。我只是试着用以下代码:
def main(args: Array[String]): Unit = {
//Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance()
val conf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[*]")
val sc = new SparkContext(conf)
val spark = SparkSession
.builder()
.appName("Spark Hive Example")
.getOrCreate()
val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:hive2://34.223.237.55:10000")
.option("dbtable", "students1")
.option("user", "hduser")
.option("password", "hadoop")
//.option("driver", "org.apache.hadoop.hive.jdbc.HiveDriver")
.load()
println("able to connect------------------")
jdbcDF.show
jdbcDF.printSchema()
jdbcDF.createOrReplaceTempView("std")
val sqlDF = spark.sql("select * from std")
println("Start println-----")
spark.sqlContext.sql("select * from std").collect().foreach(println)
println("end println-----")
sqlDF.show(false)
}
我尝试了多种方法,但始终只显示带有列名的表结构。例如...
+--------------+-------------+-------------+
|students1.name|students1.age|students1.gpa|
+--------------+-------------+-------------+
+--------------+-------------+-------------+
我无法获取数据,但是当我尝试使用SQL查询从我的本地使用DBeaver时,可以获取到数据。从Spark中,jdbcDF.printSchema()也正确显示架构,因此我认为连接没有问题。
我正在使用Spark 2.1.1和HIVE 1.2.1。我的sbt.build文件如下....
libraryDependencies ++= Seq(
"log4j" % "log4j" % "1.2.17",
"org.apache.spark" % "spark-core_2.11" % "2.1.1" ,
"org.apache.spark" % "spark-streaming-kafka_2.10" % "1.6.2",
"org.apache.spark" % "spark-hivecontext-compatibility_2.10" % "2.0.0-preview",
"org.apache.spark" % "spark-sql_2.11" % "2.1.1" ,
"org.apache.spark" % "spark-hive_2.10" % "2.1.1",
"org.apache.hive" % "hive-jdbc" % "1.2.1"
有人能否建议一下,为什么我没有得到show()的任何输出。提前致谢...
jdbcDF.count()
的输出结果吗? - metric-space