Dual Graph enhanced Embedding Neural Network for CTR Prediction

Wei Guo, Rong Su, Renhao Tan, Huifeng Guo, Yingxue Zhang, Zhirong Liu, Ruiming Tang, Xiuqiang He

Huawei Noah’s Ark Lab

https://arxiv.org/pdf/2106.00314.pdf

点击率预估,目的是预测用户点击某个商品的概率,在在线广告和推荐系统中起着至关重要的作用。基于特征交互建模的以及用户兴趣挖掘的方法是两种最流行的方法,这两种方法学者们已经研究了很多年,并且在点击率预估中取得了重大进展。

然而,基于特征交互的方法严重依赖不同特征的共现频次,这就会遇到特征稀疏的问题,所谓特征稀疏即很多特征很少出现。基于用户兴趣挖掘的方法需要丰富的用户行为,进而得到用户的多种兴趣,这种方法容易遇到行为稀疏的问题,很多用户的行为序列都是比较短的。

为解决以上问题,作者们提出一种新颖的模块,对偶图增强embedding,该模块可以跟很多点击率预估模型融合,进而解决以上两个问题。作者们还提出一种对偶图增强embedding神经网络,DG-ENN,用于点击率预估。

对偶图增强embedding利用图表示的优势,结合两种精心设计的学习策略,分而治之,课程学习激发的有组织学习,进而可以完善embedding。

作者们在三个真实工业界数据集上进行了充分的实验。实验结果表明,作者们所提出的DG-ENN效果显著优于STOA点击率预估模型。此外,用于STOA点击率预估模型时,对偶图强化embedding通常可以取得更好的效果。更多案例研究证明,作者们所提出的对偶图强化embedding可以缓解特征稀疏和行为稀疏的问题。

作者们将点击率预估模型分为以下两类

996471ba1a11d7f0fe335694fc3b8984.png

特征频次以及行为长度的分布图示如下

f209a054ff80b4b9877fe3ec66644d52.png

容易看出共现特征数比较少,行为长度较长的数量较少

这篇文章的主要贡献如下

d3cf84dd9bd776568e49872d288216a6.png

对特征交互进行建模的算法有以下几种

9a0ddc677bbd589f61f7b01adea429c3.png

b671aef4e7661478e8c928b1d11f3c09.png

对用户兴趣进行建模的算法有以下几种

9cbfd15e93f565d568d71e1121f9b6db.png

用于推荐的图网路主要有以下几种算法

fcce8b42c755d54565ccd3bbb9402c57.png

作者们所提出的dg-enn结构图示如下

979be0f1bb33312621ff8c3e532a415d.png

作者们在以下三个数据集上进行了实验

8ec87b158a10bda7fdd881f1a4fb6ea8.png

数据集预处理方式如下

f1693997638ab9fb3fab219111950e76.png

数据集信息统计如下

e35b4cdadd66bc4b0028f0264ff95da0.png

参与对比的模型和模型衡量指标如下

37babf69dd91084534a353d190df9018.png

参数设置如下

5837630f27afec2d4f0171fac4e21928.png

052aa3d42c99885e6cf39c20d665cc4e.png

几种算法的效果对比如下

e017d820d0eb50ce47377dac7f46243a.png

对偶图embedding在几个模型上的作用如下

13e1794c80a9ed5aab22b26909d24278.png

对偶图卷积的作用如下

198f3ca2bac699e99114dfce6faef1f4.png

对偶图构建对模型效果影响如下

b5a870925d1cfb4e22db57174a9b0c18.png

不同的聚合算法对模型的效果影响如下

b87e5866c58506624442086dd896a4bd.png

属性信息利用方式对模型效果影响如下

0acc8a50bccedbb3a2fabc61bb70bc10.png

不同的协同信号利用方式对模型效果影响如下

75711edb522fc3e725e49b8edaabdf02.png

作者们所提模型可以较好处理特征稀疏和行为稀疏的问题

89e98b78b0557061cb4688348fb6653e.png


              832cb8259e82fa98b77e3099d71434e8.png我是分割线d8923f05126ea6c2d8977e296f530bda.png


您可能感兴趣

KDD2021|因果模型在实时竞价重复曝光次数中的应用

雅虎联合阿里提出转化率预估实用框架并用于在线展示广告

IJCAI2020|京东联合香港理工提出基于点击校准的注意力模型用于时延归因转化率预估

WSDM2022|阿里联合中科院提出特征协同作用网络CAN用于点击率预估(已开源)

WSDM2022|阿里提出合约广告自适应统一分配框架AUAF(已开源)

ICDM2019|阿里提出大规模个性化分发实时平滑算法并用于合约展示广告

微软提出实时竞价算法并用于效果展示广告分配

淘宝展示广告中的优化点击成本算法

在线定向广告中的预算控制算法

KDD2021|清华联合雅虎|斯坦福大学|纽约大学提出竞价隐藏算法MEOW

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐