Uplift Recommendation 论文汇总

上一节介绍了 Uplift 在因果推断、推荐系统中的相关概念，展开介绍了几种 Uplift 的基础模型和评估指标。本文继续聊聊 Uplift 近几年的发展。

本文综合考虑时间跨度、论文动机等因素，将相关论文分为若干类，包括 Uplift Modeling 理论的发展、Uplift Recommendation 的发展以及未来的趋势。

探索：增益模型理论的发展

Using Control Groups to Target on Predicted Lift: Building and Assessing Uplift Models, 2007：

• 提出 Two-Learner 的 Uplift Model 架构，同时提出了 Qini Curve 指标。

Decision Trees for Uplift Modeling, ICDM 2010：

• 基于 Decision Tree 的 Uplift Model 架构。

Real-World Uplift Modelling with Significance-Based Uplift Trees, 2011：

• 基于 Decision Tree 的 Uplift Model 架构。

Decision Trees for Uplift Modeling with Single and Multiple Treatments, KAIS 2012：

• 基于 Decision Tree 的 Uplift Model 架构。

Uplift Modeling for Clinical Trial Data, ICML 2012：

• 基于标签转换模型的 Uplift Model 架构。

A Literature Survey and Experimental Evaluation of the State-of-the-Art in Uplift Modeling: A Stepping Stone Toward the Development of Prescriptive Analytics, Big Data 2018：

• 综述，提出了 Qini Coefficient 基尼系数 AUUC。

Uplift Modeling with Multiple Treatments and General Response Types, SIAM 2017：

• 基于 Random Forest 的 Uplift Model 架构。

进入推荐领域：从响应到增益

Recommendation Systems with Purchase Data, JMR 2008：

• 过去的响应模型倾向于推荐给用户购买概率较高的那一个，而本文认为「营销行为的选择应该基于对行为的预期反应」，首次提出「推荐决定不仅应基于购买概率，而且还应基于购买概率对推荐行动的敏感性」。具备了 Uplift Model 的雏形。

• 其他贡献：对一元数据进行建模，将购买行为看作是两个变量的叠加：知晓 Awareness、满意 Satisfaction。而不购买可能是因为不知晓，也可能是是因为知晓但不满意。使用两种数据集：自我发起的购买数据、推荐响应数据。

Estimating the Causal Impact of Recommendation Systems from Observational Data, EC 2015：

• 过去用随机实验来消除 Confonuder 的方法代价过高（时间成本、用户反感），本文尝试直接从纯观测数据中获得因果效应。通过计数焦点产品和被推荐产品之间的「访问推荐驱动的流量」和「一段时间内对单个页面的总访问量」，将被推荐产品的点击拆分为「因果点击」和「便利点击」。所谓因果点击就是纯粹因为推荐造成的点击，而便利点击则是哪怕没有推荐用户也会去主动搜索的点击。

The Effect of Recommendations on Network Structure, UMAP 2016：

• 介绍社交网络的两种常用推荐策略（基于内容的协同过滤、朋友之友算法）在图结构下的 Rich Get Richer 现象，即人们更有可能对受欢迎用户的推荐做出积极回应，进一步放大了知名人士的累积优势。文中简短地提及了「人们有可能早就对被推荐者感兴趣」的现象，这导致推荐效应的高估。

Modeling Individual Users' Responsiveness to Maximize Recommendation Impact, WWW 2016：

• 对推荐的反应可能取决于用户的类型，本文对用户属性（年龄、购物车大小、购买记录）和商品属性（展示时长、周销量）建模，提出了一个包含响应差异的购买预测模型。最后发现推荐效果和根据推荐日志建模的效果几乎相当，有助于克服推荐日志不足的冷启动（Cold-Start）问题。

完善：增益模型的评估、优化

Causal Embeddings for Recommendation, RecSys 2018：

• 领域自适应（Domain Adaptation）是另一种反事实的学习方法，适用于推荐系统。提出了 CausE 模型。

Uplift-based evaluation and optimization of recommenders, RecSys 2019：

• 首次对 Uplift 模型的评估、优化进行定义。在评估中引入用户四象限、ATE、IPS、SNIPS，比传统的基于 Precision 的评估方法更能衡量模型；在优化中使用已有的购买和推荐日志作为现实参照，分别用逐点抽样和成对抽样方法得到两种 Loss 训练的模型。提出了 ULRMF 和 ULBPR 模型。

Action-Triggering Recommenders: Uplift Optimization and Persuasive Explanation, ICDMW 2019：

• 这篇文章是前文的补充，描述的优化方法和上文一致，此外还补充了一个新任务：在推荐商品后解释推荐的原因。这是为了进一步帮助用户决策，唤起用户对商品的兴趣。过去对推荐的解释生成有四个维度：Neighbor（基于相似用户）、Influence（基于消费历史）、Demographic（基于用户画像）、Content（基于商品内容）。本文提出用「User-Item-Context」的三元匹配来对语境上下文进行解释。
• 有点 Multi-task Learning 的感觉，原文只是优化了三元匹配，是否能当成自然语言生成任务来做呢？

Free Lunch! Retrospective Uplift Modeling for Dynamic Promotions Recommendation within ROI Constraints, RecSys 2020：

• 从 ROI 角度切入，只有当促销活动带来的增益能弥补促销的额外成本时，促销才能继续。而有的用户需要有促销才会购买，有的用户即使没有促销也会购买，对后者发放促销会带来不必要的开销，因此识别目标群体（可说服者、自愿购买者）。值得一提的是，本文提出用背包问题对 ROI 受限 CATE 进行最大化，最终用贪心算法解决。

Online Evaluation Methods for the Causal Effect of Recommendations, RecSys 2021：

• 将过去用于信息检索的交织列表（Interleaving Method）用于两种推荐模型的因果效应的比较，解决 A/B 测试流量不足的问题。提出了等概率交织（EPI-RCT）、因果平衡交织（CBI-RCT）、结合逆倾向评分的因果平衡交织（CBI-IPS）模型。

Causality-Aware Neighborhood Methods for Recommender Systems, 《Advances in Information Retrieval》2020：

• 过去的 IPS 方法容易受到高方差的影响（不同用户群体的真实占比不同），而匹配估计器（Matching Estimator）是一种选取 A/B 测试人群的方法，其通过计算协变量相似度（用户特征、购买记录）得出实验组和控制组人群，不依赖倾向性，不会有方差问题。本文结合了协同过滤中的近邻方法（User-based 和 Item-based）得到相似群体，利用其平滑单个样本的噪声，得到一种估计因果效应的方法。提出了 CUBN 和 CIBN 模型。

Unbiased Learning for the Causal Effect of Recommendation, RecSys 2020：

• 提出另一种无偏学习框架 DLCE，还是针对使用 IPS 的方差问题，首先构造无偏估计器对指标进行排序。然后对具有倾向性封顶的估计量进行经验风险最小化，减少了有限训练样本下的方差。

更进一步：强化学习、协同过滤

Partially observable environment estimation with uplift inference for reinforcement learning based recommendation, ML 2021：

• 将隐藏变量视为一种隐藏策略，提出了一种部分观测多智能体环境估计方法 POMEE 来学习部分观测环境。提出一种强化学习框架 DUIN 用来学习每个动作的 Uplift 效应。

CausCF: Causal Collaborative Filtering for Recommendation Effect Estimation, CIKM 2021：

• 借鉴协同过滤技术，本文认为相似的用户不仅对物品有相似的品味，而且在推荐下也有相似的因果效应。以此提出了 CasuCF 模型，将交互矩阵扩展为具有 User、Item 和 Treatment 维度的三维张量，通过三者的成对内积来预测交互概率，User 和 Item 之间的内积说明了用户对商品的偏好。

未来趋势

• 更复杂的干预：连续干预、多策略干预的建模（例如多种面额优惠券的组合），对应更广泛的业务场景，当然数据集样本也会更稀疏；
• 更丰富的任务：结合多任务学习来增强模型性能，例如前文提及的推荐语生成，可以和 NLP 任务结合；
• 更有远见的模型：现实中的营销往往是常态化、持续化的，用户的心智可能会随着年龄、职业的变化而变化，因此有必要建立长期模型；
• 更优雅的测试方式：目前已有的 RCT 测试存在的大量问题有待解决，交织列表的提出就是一个有效的尝试；
• 更多的使用场景：例如政治营销（针对摇摆者精准投送正面、负面新闻以改变总统大选的结果）、医疗效果评估等等。