我一直尝试使用
使用beeline,它可以正常工作。
我也可以这样做:
但这样会直接读取Hive元数据。我想使用JDBC连接到Spark Thrift Server以实现细粒度的安全控制。
我可以这样使用PostgreSQL:
我也可以使用Scala
因此问题是:是否有一种方法可以在不像Scala那样将数据加载到内存中的JDBC客户端中创建Spark dataframe,并且不使用像上述示例中的
sqlContext.read.format("jdbc").options(driver="org.apache.hive.jdbc.HiveDriver")
将Hive表格导入到Spark,但没有成功。我已经进行了研究并阅读了以下内容:如何从Spark连接到远程Hive服务器,Spark 1.5.1不能与hive jdbc 1.2.0一起工作,http://belablotski.blogspot.in/2016/01/access-hive-tables-from-spark-using.html。我使用了最新的Hortonworks Sandbox 2.6,并在社区中问了同样的问题:https://community.hortonworks.com/questions/156828/pyspark-jdbc-py4jjavaerror-calling-o95load-javasql.html?childToView=156936#answer-156936。我想通过pyspark
实现非常简单的操作:df = sqlContext.read.format("jdbc").options(driver="org.apache.hive.jdbc.HiveDriver", url="jdbc:hive2://localhost:10016/default", dbtable="sample_07",user="maria_dev", password="maria_dev").load()
这给了我以下错误:
17/12/30 19:55:14 INFO HiveConnection: Will try to open client transport with JDBC Uri: jdbc:hive2://localhost:10016/default
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/hdp/current/spark-client/python/pyspark/sql/readwriter.py", line 139, in load
return self._df(self._jreader.load())
File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__
File "/usr/hdp/current/spark-client/python/pyspark/sql/utils.py", line 45, in deco
return f(*a, **kw)
File "/usr/hdp/current/spark-client/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 308, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o119.load.
: java.sql.SQLException: Method not supported
at org.apache.hive.jdbc.HiveResultSetMetaData.isSigned(HiveResultSetMetaData.java:143)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:136)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation.<init>(JDBCRelation.scala:91)
at org.apache.spark.sql.execution.datasources.jdbc.DefaultSource.createRelation(DefaultSource.scala:57)
at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
at py4j.Gateway.invoke(Gateway.java:259)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:209)
at java.lang.Thread.run(Thread.java:748)
使用beeline,它可以正常工作。
beeline> !connect jdbc:hive2://localhost:10016/default maria_dev maria_dev
Connecting to jdbc:hive2://localhost:10016/default
Connected to: Spark SQL (version 2.1.1.2.6.1.0-129)
Driver: Hive JDBC (version 1.2.1000.2.6.1.0-129)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10016/default> select * from sample_07 limit 2;
+----------+-------------------------+------------+---------+--+
| code | description | total_emp | salary |
+----------+-------------------------+------------+---------+--+
| 00-0000 | All Occupations | 134354250 | 40690 |
| 11-0000 | Management occupations | 6003930 | 96150 |
+----------+-------------------------+------------+---------+--+
我也可以这样做:
spark = SparkSession.Builder().appName("testapp").enableHiveSupport().getOrCreate()
spark.sql("select * from default.sample_07").collect()
但这样会直接读取Hive元数据。我想使用JDBC连接到Spark Thrift Server以实现细粒度的安全控制。
我可以这样使用PostgreSQL:
sqlContext.read.format("jdbc").options(driver="org.postgresql.Driver")
我也可以使用Scala
java.sql.{DriverManager, Connection, Statement, ResultSet}
来创建JDBC连接,以作为客户端访问Spark。但这基本上会将所有的数据加载到内存中,然后手动重新创建Dataframe。因此问题是:是否有一种方法可以在不像Scala那样将数据加载到内存中的JDBC客户端中创建Spark dataframe,并且不使用像上述示例中的
SparkSession.Builder()
?我的用例需要处理细粒度安全性。