Spark深度学习导入错误

Question

我正在尝试复制一个深度学习项目，源自https://medium.com/linagora-engineering/making-image-classification-simple-with-spark-deep-learning-f654a8b876b8。我使用的是Spark版本1.6.3，已经安装了keras和tensorflow。但每次尝试从sparkdl导入时都会出现错误。我在Pyspark上工作。当我运行以下内容时：

from sparkdl import readImages

我遇到了这个错误：

File "C:\Users\HP\AppData\Local\Temp\spark-802a2258-3089-4ad7-b8cb- 
6815cbbb019a\userFiles-c9514201-07fa-45f9-9fd8- 
c8a3a0b4bf70\databricks_spark-deep-learning-0.1.0-spark2.1- 
s_2.11.jar\sparkdl\transformers\keras_image.py", line 20, in <module>
ImportError: cannot import name 'TypeConverters'

有人可以帮忙吗？

这段内容与IT技术无关。

- Seeker90

Answer 1

这并不是完全的解决方法，因为我还没有能够在jupyter笔记本中从sparkdl导入东西，但是！

readImages是pyspark.ml.image包中的一个函数。

所以要导入它，你需要：

from pyspark.ml.image import ImageSchema

如何使用:

imagesDF = ImageSchema.readImages("/path/to/imageFolder")

这将为您提供一个数据框(dataframe)，其中包含名为"image"的列。

您可以添加一个标签(label)列，如下所示：

labledImageDF = imagesDF.withColumn("label", lit(0))

但请记住，要使用lit函数，需要从pyspark.sql导入functions模块。

from pyspark.sql.functions import * 

希望这至少在一定程度上能帮到您。

- Dima Goldin