如何使用nose运行用Python编写的Apache Spark应用程序的单元测试？
通常情况下，使用nose只需调用以下命令：
nosetests
为了运行Python包中tests目录下的测试，需要使用nosetests命令。但是，为了能够导入pyspark模块，需要使用spark-submit命令来运行Pyspark脚本，而不是通常的Python可执行文件。那么，如何结合nosetests和pyspark运行Spark应用程序的测试呢？
运行pyspark的nosetests测试
5
- karlson
1个回答
4
如果有帮助的话，我们使用nosetest来测试sparkling pandas。我们在utils文件中做了一些魔法，根据SPARK_HOME shell环境变量将pyspark添加到路径中。
- Holden
5
那听起来确实很有趣。您能否更具体地说明运行测试需要做什么？提前感谢。 - karlson
1当然，我们放在repo中的run-tests脚本只是检查SPARK_HOME环境是否设置，并且如果设置了，它会调用nosetests并带有一堆可选标志。我们还添加了一个基本测试用例，我们为我们的个人测试进行扩展，该测试用例启动和停止本地spark上下文。这有效是因为我们在我提到的utils文件中添加了这些内容到我们的python路径中，这可能是你的测试缺少的东西。 - Holden
谢谢，有了你的代码帮忙，我确实成功地运行了我的单元测试！@Holden - karlson
2@karlson：也许你可以在gist或其他地方放一个例子？ - Tim Hopper
非常有帮助。谢谢@karlson。 - Tim Hopper
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接