评估 k-means 算法找到的邻居

Question

评估 k-means 算法找到的邻居

pythonk-meansmetricsknn

3

我正在设置一个推荐系统，并在训练完神经网络后，希望找到最接近的邻居，为客户提供这样的推荐。

我的问题是如何最好地评估这部分内容？

我想使用一些衡量标准（或多个衡量标准），展示给我发现的邻居或者推荐有多“好”或多“坏”。

你知道哪些标准，我该如何实施它们？

数据框：

d = {'purchaseid': [0, 0, 0, 1, 2, 2, 3, 3, 3, 4, 4, 4, 5, 5, 5, 6, 6, 6, 7, 7, 8, 9, 9, 9, 9],
     'itemid': [ 3, 8, 2, 10, 3, 10, 4, 12, 3, 12, 3, 4, 8, 6, 3, 0, 5, 12, 9, 9, 13, 1, 7, 11, 11]}
df = pd.DataFrame(data=d)



   purchaseid  itemid
0           0       3
1           0       8
2           0       2
3           1      10
4           2       3
...         ...    ...

寻找最近的邻居:

from keras.models import load_model
from sklearn.cluster import KMeans

# this is a nice rock/oldies playlist
desired_user_id = 500
model_path = 'spotify_NCF_8_[64, 32, 16, 8].h5'
print('using model: %s' % model_path)
model = load_model(model_path)
print('Loaded model!')

mlp_user_embedding_weights = (next(iter(filter(lambda x: x.name == 'mlp_user_embedding', model.layers))).get_weights())

# get the latent embedding for your desired user
user_latent_matrix = mlp_user_embedding_weights[0]
one_user_vector = user_latent_matrix[desired_user_id,:]
one_user_vector = np.reshape(one_user_vector, (1,32))

print('\nPerforming kmeans to find the nearest users/playlists...')
# get 100 similar users
kmeans = KMeans(n_clusters=100, random_state=0, verbose=0).fit(user_latent_matrix)
desired_user_label = kmeans.predict(one_user_vector)
user_label = kmeans.labels_
neighbors = []
for user_id, user_label in enumerate(user_label):
    if user_label == desired_user_label:
        neighbors.append(user_id)
print('Found {0} neighbor users/playlists.'.format(len(neighbors))) 

# get the tracks in similar users' playlists
tracks = []
for user_id in neighbors:
    tracks += list(df[df['pid'] == int(user_id)]['trackindex'])
print('Found {0} neighbor tracks from these users.'.format(len(tracks))) 

users = np.full(len(tracks), desired_user_id, dtype='int32')
items = np.array(tracks, dtype='int32')

print('\nRanking most likely tracks using the NeuMF model...')
# and predict tracks for my user
results = model.predict([users,items],batch_size=100, verbose=0) 
results = results.tolist()
print('Ranked the tracks!')

.
.
.
# And now loop through and get the probability Note: This part has been removed because it is not part of the code

- user14253628

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Mateo Torres · Accepted Answer

简短回答：

有多种评估推荐系统的成熟度量标准。这些指标的实现大多数都可以在recmetrics库中找到。

稍微详细一点的回答：

这是Claire Longo的优秀文章和recmetrics文档的简短摘要。我强烈建议阅读两篇文章，以更好地了解每个指标。她也是recmetrics的作者。

K值下的平均精度（MAP@K）和K值下的平均召回率（MAR@K）：这两个指标是推荐系统最典型的指标。通常，文章会将其绘制为柱形图，显示不同方法在前1、5、10等位置时的性能比较。MAR@K包含在recmetrics中，而MAP@K则可以在ml_metrics中找到。
覆盖率（Coverage）：是模型能够在测试集上推荐的训练数据项的百分比。
新颖性（Novelty）：衡量推荐系统提出新颖和意外的项目的能力，这些项目用户很可能不知道。
个性化（Personalization）：定义为用户推荐列表之间余弦相似度的差值，它量化了模型预测的特定性（个性化程度）。
列表内部相似度（Intra-list Similarity）：定义为模型推荐的项目特征的平均余弦相似度，高的列表内部相似度与模型经常推荐相似的项目有关。