我正在尝试为Spark作业设置测试框架。我想使用spark-testing-base的SharedSparkContext特性,该特性依赖于ScalaTest的BeforeAndAfterAll特性来管理设置和拆卸。我的当前环境中有些问题导致beforeAll和afterAll方法在每个测试用例周围被调用。即使我想允许这种冗余行为,我也不能:我不知道如何正确地拆除我的HiveContext对象,因此第二次调用beforeAll会抛出异常,底层是“ERROR XSDB6:另一个Derby实例可能已经引导了数据库/Users/applemacbookpro/git/my-project/metastore_db。” 我使用带有SBT管理的IntelliJ IDEA构建。MacOS 10.11.4 IntelliJ IDEA 2016.1.3,不确定SBT版本,应该是最近的。根据spark-testing-base的README和this question,我已经放置了
在 build.sbt 文件中。
这是我的示例:
parallelExecution in Test := false
在 build.sbt 文件中。
这是我的示例:
import org.scalatest.{BeforeAndAfterAll, FlatSpec}
class ExampleSpec extends FlatSpec with BeforeAndAfterAll {
override def beforeAll(): Unit = {
println("in beforeAll")
super.beforeAll()
}
override def afterAll() {
println("in afterAll")
super.afterAll()
}
behavior of "example"
it should "succeed" in {
println("test 1")
}
it should "succeed again" in {
println("test2")
}
}
我通过在编辑器窗口上右键单击并从上下文菜单中运行来触发它;输出结果为:
/Library/Java/JavaVirtualMachines/jdk1.8.0_77.jdk/Contents/Home/bin/java...
Testing started at 2:50 PM ...
in beforeAll
test 1
in afterAll
in beforeAll
test2
in afterAll
Process finished with exit code 0