我是Spark-DataFrame API的初学者。
我使用以下代码将csv以制表符分隔的格式加载到Spark Dataframe中:
lines = sc.textFile('tail5.csv')
parts = lines.map(lambda l : l.strip().split('\t'))
fnames = *some name list*
schemaData = StructType([StructField(fname, StringType(), True) for fname in fnames])
ddf = sqlContext.createDataFrame(parts,schemaData)
假设我使用Spark从新文件创建DataFrame,并使用内置方法toPandas()将其转换为pandas DataFrame,
- 它会将Pandas对象存储在本地内存中吗?
- Pandas的底层计算是否全部由Spark处理?
- 它公开了所有pandas DataFrame的功能吗?(我猜是)
- 我能够将其转换为pandas DataFrame并完成操作,而无需过多地接触DataFrame API吗?
HiveContext.createDataFrame
。 - Phillip Cloud