Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings

Feiyang Pan, Shuokai Li, Xiang Ao, Pingzhong Tang, Qing He

Tsinghua University, Chinese Academy of Sciences

https://arxiv-export-lb.library.cornell.edu/pdf/1904.11547

点击率预估在计算广告中是最核心的问题之一。近期，embedding技巧，将广告id映射到低维空间表示，可以大幅提升点击率预估的准确性。

但是，这种学习方法需要大量数据，对于小日志数据的情形，对新广告的效果表现较差，此即冷启动问题。

这篇文章中，当新广告加入到候选集时，作者们旨在提升冷启动阶段和热身阶段的点击率预估效果。作者们提出元embedding，这是一种基于元学习的方法，对新广告id，可以学习产生期望的初始embedding。

作者们所提方法对新广告id训练了embedding生成器，其中基于梯度元学习方法充分利用了先前学到的广告。这种方法可以学习如何学到更好的embedding。对于新广告，训练的生成器初始化广告id的embedding时将内容和属性作为输入。

然后，生成的embedding相对其他现有的初始化方法可以加速热身阶段的模型拟合，可以比较好的处理只有少量打标样本可用的情形。

在3个真实数据集上的实验结果表明，元embedding可以显著提升冷启动和热身阶段的效果，作者们在6个现有点击率预估模型上验证了该效果，其中包含轻量级模型，比如因子分解机，也包含复杂深度模型，比如PNN和DeepFM。这种方法也可以用于转化率预估。

少部分广告占了大部分样本示例如下

这篇文章的主要贡献如下

冷启动与热启动区别对比如下

算法伪代码如下

算法学习图示如下

元embedding生成图示如下

数据集信息简介如下

作者们在以下代表性算法上进行了测试

数据分割之后信息统计如下

实验步骤如下

模型效果衡量指标如下

不同数据集上的指标优化汇总如下

在不同数据集上元embedding对不同算法带来的影响对比如下

---

              我是分割线

---

您可能感兴趣

KDD2021|华为提出对偶图增强embedding神经网络DG-ENN用于CTR预估

KDD2021|因果模型在实时竞价重复曝光次数中的应用

雅虎联合阿里提出转化率预估实用框架并用于在线展示广告

IJCAI2020|京东联合香港理工提出基于点击校准的注意力模型用于时延归因转化率预估

WSDM2022|阿里联合中科院提出特征协同作用网络CAN用于点击率预估(已开源)

WSDM2022|阿里提出合约广告自适应统一分配框架AUAF(已开源)

ICDM2019|阿里提出大规模个性化分发实时平滑算法并用于合约展示广告

微软提出实时竞价算法并用于效果展示广告分配

淘宝展示广告中的优化点击成本算法

在线定向广告中的预算控制算法

KDD2021|清华联合雅虎|斯坦福大学|纽约大学提出竞价隐藏算法MEOW