TopK推荐的评价指标

1、Precision 准确率

                                                                     

是根据用户在训练集上的行为给用户作出的推荐列表, 是用户在测试集上的行为列表。

2、Recall 召回率

                                                                        

3、F1 Score

                                                                    

折中了准确率和召回率。

4、HR(Hit Ratio)

物理意义:关心用户想要的,我有没有推荐到,强调预测的“准确性”  。

在TopK推荐中,HR是一种常用的衡量召回率的指标,计算公式为:

                                                                    

分子:每个用户TopK列表中属于测试集的个数 的总和。

分母: 用户在测试集中的物品总个数。

例如:三个用户在测试集中的商品个数分别是10,12,8,模型得到的top-10推荐列表中,分别有6个,5个,4个在测试集中,那么此时HR的值是   (6+5+4)/(10+12+8) = 0.5  。

转载自:https://blog.csdn.net/qq_40006058/article/details/89432773

5、MAP(Mean Average Precision) 平均准确率

解释1:源自网络 

解释2:源自论文《Modeling User Exposure in Recommendation. WWW. 2016》

表示测试集中用户u点击过的物品i的集合。 

6、NDCG(Normalized Discounted Cummulative Gain) 归一化折损累积增益

物理意义:关心找到的这些项目,是否放在用户更显眼的位置里,即强调“顺序性“ 。

MAP和NDCG是排名指标中最受欢迎的两个,MAP考虑的是0和1的排序,而NDCG考虑评分的排序。

理解NDCG需要从CG开始。

CG(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐 k 个物品,这个推荐列表的计算公式如下:                                                        

 表示第k个物品的相关性或者评分。假设我们共推荐k个电影, 可以是用户对第i部电影的评分。

例如,豆瓣给用户推荐了五部电影,

该用户对这五部电影的评分分别是

5, 3, 2, 1, 2

那么这个推荐列表的CG等于

  =  5+3+2+1+2 = 13

CG没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑,就有了DCG(discounted CG),折扣累积增益。

公式如下:                                                     

仍然是 ,评分仍是5, 3, 2, 1, 2

那么这个推荐列表的DCG是

                           

DCG没有考虑到推荐列表和每个检索中真正有效结果个数,所以最后我们引入NDCG(normalized discounted CG),顾名思义就是标准化之后的DCG,公式如下:

                                                                            

其中IDCG是指ideal DCG,也就是完美结果下的DCG。

 上述NDCG求解是针对某一用户,全局NDCG为所有用户NDCG的平均值。

 该部分转载自:http://sofasofa.io/forum_main_post.php?postid=1002561 

学术论文中, 例如《Modeling User Exposure in Recommendation. WWW. 2016》,是这么描述的:

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注