我是Spark的新手。我想将一个稀疏矩阵转换为用户ID-物品ID矩阵,以用于推荐引擎。我知道如何在Python中实现此操作。那么在PySpark中该怎么做呢?这是我在matrix中的操作方式。表格现在看起来像这样。
Session ID| Item ID | Rating
1 2 1
1 3 5
import numpy as np
data=df[['session_id','item_id','rating']].values
data
rows, row_pos = np.unique(data[:, 0], return_inverse=True)
cols, col_pos = np.unique(data[:, 1], return_inverse=True)
pivot_table = np.zeros((len(rows), len(cols)), dtype=data.dtype)
pivot_table[row_pos, col_pos] = data[:, 2]