我正在编写一个简单的flink字数统计作业,但是一直出现以下错误:
could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String]
[error] .flatMap{_.toLowerCase.split("\\W+") filter {_.nonEmpty}}
我在网上搜索了很久,但是没有找到任何易懂的答案。
这是我的代码:
object Job {
def main(args: Array[String]) {
// set up the execution environment
val env = StreamExecutionEnvironment.getExecutionEnvironment
val dataStream = env.readTextFile("file:///home/plivo/code/flink/scala/flinkstream/test/")
val count = dataStream
.flatMap{_.toLowerCase.split("\\W+") filter {_.nonEmpty}}
.map{ (_,1) }
.groupBy(0)
.sum(1)
dataStream.print()
env.execute("Flink Scala API Skeleton")
}
}
import flink.api.scala._
,因为流处理和批处理的 Scala 包对象都会导入createTypeInformation
。因此这些导入可能会冲突。 - Till Rohrmann