我已输入如下所示的交易记录。
我需要生成一个类似于这样的Spark数据框架,其中包含共现矩阵。
apples,mangos,eggs
milk,oranges,eggs
milk, cereals
mango,apples
我需要生成一个类似于这样的Spark数据框架,其中包含共现矩阵。
apple mango milk cereals eggs
apple 2 2 0 0 1
mango 2 2 0 0 1
milk 0 0 2 1 1
cereals 0 0 1 1 0
eggs 1 1 1 0 2
苹果和芒果一起购买了两次,因此在一个矩阵[apple][mango] = 2中。
我在实现这个想法时遇到了困难?有什么建议吗?我正在使用PySpark来实现这个问题。