成都preKDD总结报告--钟玥

yzhong

论文分析-Deep Interest Network for Click-Through Rate Prediction

        这篇论文作者是阿里妈妈精准定向检索及基础算法团队，来自分论坛：智能推荐。
        文章主要思想是通过用户历史行为数据以更好的构建在线广告推荐系统的CTR预估任务。基于用户历史行为数据的两大兴趣特点：兴趣多样性和局部活动性（即当前兴趣仅与部分历史行为数据相关），文章提出了Deep Interest Network（DIN）模型。在传统的基础模型中，将稀疏ID类特征进行embedding，得到降维后的低维度稠密特征，再使用全连接层，通常会再使用一个池化层得到固定长度的输出。而深度感兴趣网络DIN模型则在对用户表示时引入了注意力机制，对用户历史行为特征进行embedding后，将所得特征表示为用户兴趣，通过注意力机制为每一个用户兴趣赋予相应的权值。这个权值是由用户兴趣和广告商品向量进行匹配计算所得，所以符合了上文提到的用户历史行为数据的两大兴趣特点。这个注意力机制正好在我们的深度学习课程中Sequence to sequence models部分也有涉及。由于用户兴趣的多样性，传统模型为表达某一用户的多样兴趣需要增加user vector的维度，这通常会导致过拟合和计算量的激增。DIN的注意力机制用一个fix-length的vector来刻画用户对不同商品展现的不同兴趣，以尝试解决计算量等问题。
        文章还在评价指标上有一定的创新点。通常CTR模型采用AUC作为评价指标，即不区分用户的计算正样本得分比负样本得分高的概率。但是对于每一个用户而言，有些人天生不爱点击广告，但有些人点击率却很高，所以文章提出了GAUC用来计算用户级的AUC，消除了用户偏差对模型评价的影响，并且在工业数据的应用中证明了GAUC的可靠性。
        同时文章中提出了新的激活函数Dice函数，该函数摒弃了以0作为整流点的传统方式而是基于data dependent的思想将输入x进行均值归一处理，使得整流点位于均值处。另外，为防止上文提到的过拟合问题，文章提出了一个自适应正则的方法，通过正则项惩罚出现概率低的特征。以上提出的方法都在模型效果中得到了证明。