背景:

大模型(llm)的出现为重新定义具有大量知识和推理能力的推荐系统提供了新的视野。站在这个LLM时代,我们的目标是将推荐系统整合到更广阔的图景中,并为未来的研究提出更全面的解决方案。

综述:(hinet/masknet)

作者认为现代推荐系统有两条进化路径——列表式推荐会话式推荐

推荐系统的演变之路:

优化推荐系统的两个方向:1.优化推荐的信息(CTR,CVR等)2.减少用户交互成本

如下图所示,我们从左下角的A看起,上方的路径(ABD)主要通过引入自然语言等额外反馈来增强有效信息,但由于文本输入比简单点击更复杂,会牺牲交互效率,增加用户交互成本。

提高推荐系统有效性的一种直观的方法是纳入更丰富的信息反馈,如自然语言(区域B)。通过解析和处理多回合对话中的用户指令,推荐系统可以更好地理解用户的真实需求,并通过填充对话模板或生成语言响应来做出准确的推荐。此外,用户可以通过迭代查询和反馈,主动引导系统调整推荐结果,直到用户满意为止。会话式推荐使用户能够像人与人聊天一样与机器进行交互,从而为客户提供新颖而引人入胜的体验。然而,文本信息的输入大大增加了用户完成一轮信息获取的工作量,这违背了许多在线应用快速便捷交互的产品设计原则。

下方的路径(AC)通过利用大模型的潜力去替代推荐中的不同模块和阶段,从而提高有效的信息。终点都是将推荐系统进化成个人的代理: converting recommender systems into personalized agents.

Untitled

列表式推荐

过去几十年的推荐系统得益于深度学习的蓬勃发展,通常将推荐结果以排名列表的形式呈现给用户。代表性的商业产品有YouTube、Facebook、TikTok等。这些推荐系统根据用户的偏好生成一个排序列表。这些偏好是通过训练有素的深度学习模型来推断的,这些模型利用用户反馈,比如点击和下载,这些反馈来自这些产品上生成的交互日志。例如,下图展示了传统列表式音乐推荐系统的典型过程。歌手或歌曲的推荐列表是根据用户特征(例如,用户简介)、项目特征(例如,歌曲标题、歌手)和用户过去的行为(例如,点击歌曲、喜欢歌曲)生成的。

Untitled

传统的推荐系统分为三个大部分,召回,排序,精排;

  1. 召回又分为个性化召回和非个性化召回:典型的非个性化召回算法包括基于流行的热门召回算法、基于运营策略的新人召回算法和基于点击率的高精度召回算法。这些非个性化的方法没有考虑到不同用户的不同特征,很难捕捉到用户的独特需求和实时偏好,常用于推荐系统的冷启动。

    为了根据用户不同的个人资料和历史行为追求个性化的召回结果,人们提出了许多个性化的召回算法,如基于基于嵌入的方法。

  2. 排序:召回阶段完成对items的初筛后,排序模型会结合丰富的特征来进行精确的用户兴趣挖掘和item相关性预测。为了实现这一目标,点击率(CTR)预测和点击后转化率(CVR)预测是个性化排名系统的两个最关键的任务,它们估计用户在给定项目上点击或转换的概率。然后将这些项目结合点击率、CVR和项目竞价价格进行排序,其中不同平台的组合策略往往不同。排名模型通常使用历史曝光的日志进行训练,遵embedding表示学习与预测范式。他们首先将输入特征(包括分类特征、序列特征、数值特征和组合特征)转换成嵌入向量,然后利用最新的网络结构通过特征交互建模或挖掘用户行为来学习高级特征表示,最后馈入全连接层得到预测分数。此阶段涌现出很多经典的基础模型,佼佼者有DeepFM,DCN,DIN,ESMM等。

  3. 重排是对排序结果的修正,除了关注准确性指标以外,还会考虑排序结果的多样性等,受业务策略的影响很大。

在排序模型中,目前有几个大方面的迭代:

  1. 特征交互方式:

    1. 各种乘积:内积,外积,Hadamard积等,如DeepFM,DCN,DCNV2等;
    2. 基于CNN和GCN;
    3. 基于注意力学习动态的特征权重,如AutoInt,FibiNet,masknet等;
  2. 行为序列建模

    1. 传统序列建模:din,can等
    2. 长序列建模:SIM,ETA等
    3. 多行为序列建模:MBSTR等
  3. 多任务,多场景建模

    在单一场景中,用多任务模型来学习多个目标,称为多任务学习,降低训练成本,改善其中一个指标的稀疏性;

    在多个场景中,使用多场景模型学习多个场景下的目标,称为多场景学习,降低训练成本,改善其中一个场景的稀疏性;;

    多任务学习,如moe,mmoe,ple,esmm等

    多场景建模,如hinet等;