我对hadoop和impala都很陌生。通过安装impyla并执行以下代码,我成功连接到了impala。这是LDAP连接:
from impala.dbapi import connect
from impala.util import as_pandas
conn = connect(host="server.lrd.com",port=21050, database='tcad',auth_mechanism='PLAIN', user="alexcj", use_ssl=True,timeout=20, password="secret1pass")
我随后可以获取光标并执行以下查询:
cursor = conn.cursor()
cursor.execute('SELECT * FROM tab_2014_m LIMIT 10')
df = as_pandas(cursor)
我希望能够使用sqlalchemy连接到impala,并能够使用一些很棒的sqlalchemy函数。我在impyla源代码中找到了一个测试文件test_sqlalchemy.py,它说明了如何创建一个具有impala驱动程序的sqlalchemy引擎:
engine = create_engine('impala://localhost')
我想做这件事,但是我无法做到,因为上面连接函数有更多的参数; 我不知道如何将它们传递给SQLAlchemy的create_engine以建立成功连接。有人做过吗?谢谢。
connect_args
来指定传递给connect()
的额外参数。 - univerio