AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks

Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang

Peking University, University of California, Montreal Institute for Learning Algorithms (Mila), HEC Montreal

https://arxiv.org/pdf/1810.11921.pdf

点击率 (CTR) 预估旨在预测用户点击广告或项目的概率，该任务对于在线应用，比如在线广告和推荐系统，至关重要。该问题非常具有挑战性，因为 

(1) 输入特征(例如用户 ID、用户年龄、项目 ID、项目类别)通常比较稀疏，并且维度较高

(2) 有效的预测依赖于高阶组合特征，即交叉特征，这种特征依赖于领域专家的手工设计，非常耗时，并且不可能枚举。

因此，研究人员不仅试图寻找两类特征的低维表示，即稀疏和高维原始特征，以及有意义的组合特征。本文提出了一种高效算法，该算法能够自动学习输入特征的高阶特征组合。该算法非常通用，不仅可以处理数值类型的特征，也可以处理类别型特征。具体来说，该方法将数值和类别型特征映射到相同的低维空间。然后，提出了一种具有残差连接的多头自注意神经网络，进而对低维空间中的特征交互进行显式建模。多头自注意神经网络的不同层，可以对输入特征不同阶的组合进行建模。

整个模型可以端到端地有效地适应大规模原始数据。在四个真实数据集上的实验结果表明，本文方法不仅优于现有的预测方法，而且具有较好的可解释性。

本文贡献可以总结为

本文模型结构图示如下

输入层及嵌入层图示如下

交互层结构图示如下

数据集信息统计如下

多种方法的效果对比如下

多种方法的效率（运行时间）对比如下

多种方法的效率（模型规模 参数个数）对比如下

有无残差连接对模型效果的影响如下

交互层数的影响如下

集成隐含特征的效果对比如下

嵌入层维度的影响如下

代码地址

https://github.com/DeepGraphLearning/RecommenderSystems

---

              我是分割线

---

您可能感兴趣

WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)

CIKM2013|深层结构语意模型DSSM在web搜索中的应用

WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)

SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)

WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)

WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)

KDD2019|个性化注意力在新闻推荐中的应用

SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)

WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用

IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)

AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)

ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)

SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)

SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)

SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)

KDD2018|基于GBM的动态定价回归模型

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)

IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN

聊聊CatBoost

聊聊XGBoost CatBoost LightGBM RF GBDT

顶会中深度学习用于CTR预估的论文及代码集锦 (3)

ICML 2018 深度学习论文及代码集锦(5)

深度学习用于机器翻译的论文及代码集锦