使用:
- Apache Spark 2.0.1
- Java 7
在Apache Spark Java API文档中,DataSet类出现了一个示例,使用scala.collection.Seq参数指定列名来使用join方法。但是我无法使用它。 文档中提供了以下示例:
df1.join(df2, Seq("user_id", "user_name"))
错误: 找不到符号方法 Seq(String)
我的代码:
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import scala.collection.Seq;
public class UserProfiles {
public static void calcTopShopLookup() {
Dataset<Row> udp = Spark.getDataFrameFromMySQL("my_schema","table_1");
Dataset<Row> result = Spark.getSparkSession().table("table_2").join(udp,Seq("col_1","col_2"));
}