我希望对大量的图片(数千张)进行图像分析,并尝试使用Spark来加速处理。为了测试目的,我正在使用docker组合在本地设置一个独立的集群。
我希望进行一些基本的分析,如计算梯度、边缘检测等。我可以成功地使用以下方法将我的图像加载到数据框中:
images = spark.read.format("image").option("dropInvalid", True).load("/opt/spark-data/")
我试图使用UDF调用OpenCV函数,例如Sobel函数。但我无法将图像数据加载到OpenCV可以处理的格式中。
有没有办法以一种方式转换图像数据,使我能够使用OpenCV函数?还是有比使用OpenCV更好的方法吗?