似乎这应该很容易,就像这组功能的核心用例一样,但问题接踵而至。最新的问题是尝试通过Glue Dev端点运行命令(包括PySpark和Scala端点)。按照此处的说明进行操作:https://docs.aws.amazon.com/glue/latest/dg/dev-endpoint-tutorial-repl.html。
它还会在其中一行设置中生成此警告:
总体设置相当简单:我们有一个入站的Kinesis数据流,一个处理器来生成JSON Kinesis数据流,一个配置为将该JSON流写入S3中Parquet文件的Kinesis firehose流,以及必要的Glue目录配置使其发生。
Athena可以很好地查看数据,但Scala / PySpark脚本会出错。
有什么想法/建议吗?
import sys
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.transforms import *
glueContext = GlueContext(SparkContext.getOrCreate())
df = glueContext.create_dynamic_frame.from_catalog(database="mydb", table_name="mytable")
生成此错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/mnt/tmp/spark-0ba544c9-0b5a-42bb-8a54-9b3138205179/userFiles-95708c09-59f6-4b6d-9016-d0375d511b7a/PyGlue.zip/awsglue/dynamicframe.py", line 557, in from_catalog
File "/mnt/tmp/spark-0ba544c9-0b5a-42bb-8a54-9b3138205179/userFiles-95708c09-59f6-4b6d-9016-d0375d511b7a/PyGlue.zip/awsglue/context.py", line 136, in create_dynamic_frame_from_catalog
File "/mnt/tmp/spark-0ba544c9-0b5a-42bb-8a54-9b3138205179/userFiles-95708c09-59f6-4b6d-9016-d0375d511b7a/PyGlue.zip/awsglue/data_source.py", line 36, in getFrame
File "/usr/lib/spark/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__
File "/usr/lib/spark/python/pyspark/sql/utils.py", line 69, in deco
raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: u'Unable to infer schema for Parquet. It must be specified manually.;'
它还会在其中一行设置中生成此警告:
18/06/26 19:09:35 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
总体设置相当简单:我们有一个入站的Kinesis数据流,一个处理器来生成JSON Kinesis数据流,一个配置为将该JSON流写入S3中Parquet文件的Kinesis firehose流,以及必要的Glue目录配置使其发生。
Athena可以很好地查看数据,但Scala / PySpark脚本会出错。
有什么想法/建议吗?