推荐系统解构

1. 基本架构

我这里拿一个前几年我刚开始入门推荐系统时候的架构：

最开始的阶段是召回过程，分为多个模块；实时模块会拿到用户实时的信息，比如用户实时点击、收藏、加购的商品，并获取这些商品的相似商品；历史模块会获取用户的历史信息，如历史的购买行为；画像模块则会获取用户的静态信息和偏好标签，如用户的设备型号、年龄、性别、类目偏好等；最后还会包括现在以及过去的热门商品等。

在经过这些召回的过程后，我们会进行一层过滤。比如曝光过滤，即某个类目已经曝光了一定次数，但是用户都没有点击，隐式表明用户不感兴趣。还有用户购买过滤，即已经购买过的短期内不再推荐。同时还有购买率过滤、性别过滤等等。

经过过滤阶段后，我们可以对过滤后的商品进行一定的预估。如点击率、转化率预估等。同时可以考虑单价，多样性以及新品率等影响进行排序。随后我们可以通过规则或者模型，将这些粗排后的物品统一得分进行融合，最后再经过精排阶段给出最终得分，这个阶段还会增加一些业务规则进行强控，比如考虑多样性的打散、出于运营需求的置顶等。

上述是大致推荐系统的简单介绍，不同的业务和团队，在构建过程中也存在模块的差异，推荐系统没有特别强的标准存在。

2. 召回策略

主要策略包括：

① 实时行为召回：在线实时捕捉用户对商品的点击，收藏，加购，购买等反馈行 为，并召回相似商品，迅速抓住用户的短期购物需求。

② 历史行为召回：离线分析用户对商品的历史点击，收藏，加购，购买等反馈行为，并召回相似商品，兼顾用户的长期购物需求。

③ profile召回：从性别，年龄段，设备等多个维度，在线和离线同时对用户进行

画像，并召回相对应的热门商品。不要小看这个召回，非常关键，往往新用户需要用这些静态信息和标签来做召回，往往可以快速圈定其圈层进行精准的探索和数据反馈，比如5-6线城市和北京西二旗的用户往往大概率兴趣差异较大。这层召回是全局热门召回的更精细化拆解。

④ 热销&趋势召回：分析商品的长期和短期销量变化，召回爆款和近期热点商品。

• 召回模块特别重要，因为召回的来源/相似分可以作为排序特征(推荐日志落盘-回看/溯源机制)

• 召回作为漏斗的顶部，好坏对漏斗底部(排序)的影响很大。

3. 排序策略

排序阶段的影响因子较多，可以作为特征，也可以独立在外作为排序因子存在。比如以下的一些因子：Ctr Cvr Price、Ctr Ts、Match Score、Trigger score time decay、Match type ctr cvr、Match type score、...

当然针对不同的产品有不同的侧重点，比如电商的内容差异较大，甚至同是内容也会因为产品形态存在差异，比如快手的双列可以考虑点击率建模，而抖音单列下滑不需要考虑点击率建模。甚至还需要考虑多样性，惊喜性，新颖性等更多的指标。并且建模过程可以尝试end2end或单独建模的方式，这里面需要考虑的是稀疏性、正负比例、预估不准等问题。

如果一个指标不够，还可以考虑多个指标的结合，形成新的指标。如电商场景下，gmv这个指标，可以用CTR^α*CVR^β*Price^γ代表gmv，那为什么还需要α、β、γ呢？因为如果ctr和cvr估计是准确的， α、β、γ均为1的排序公式是可解释的，你把这几个指标的分子分母拆开就看到了，相乘以后就是gmv。但是由于模型各自的准确率差异，导致了我们需要学习这几个参数，理论上建模越准确的指标系数越大。而这三个系数如果相对稳定可以通过离线统一参数学习的情况完成；如果不稳定，可通过强化学习来解决这个超参的设定。

可参看下图的电商场景建模的相关排序因子，当然部分因子作为特征可纳入排序模型。

4. 排序阶段还有一些常见的原则

① 针对不同的召回策略，主要秉持“短期行为优先，兼顾长期行为”，“保证多样性，避免过度个性化”原则。算法上主要通过长短期用户行为密度建模，正负反馈反向调节等手段来实现。

② 不同排序因子(商家质量/分发宽度及强度等等)可共用一套底层表征。

③ 覆盖率：通过类目，品牌，频道，场景等多粒度的打散重排，最大化各个维度的个性化覆盖率。

④ 疲劳度：通过引入一定的随机因子，针对不同个性化程度，建立合理的轮转机制，保证一定的新颖性。

⑤ 转化能力：通过对用户，商品，会场等多维度采集特征数据，训练点击转化和交易转化模型。大促期间 根据不同的阶段，采取差异化的处理策略。比如预热期强化点击转化，正式售卖期则强调交易转化。

5. 更加精细化的排序

① 考虑到召回和排序的压力，可以再精排和召回中间加一层，少量核心特征+简单模型进行粗排。

② 多过程建模：如直接购买还是收藏比价使用模型判断。举个例子，在购物车推荐中，用模型来操控推荐策略。在购物的流程中，通过数据分析可以发现，有一部分用户是希望通过加入购物车来进行比价， 还有一部分用户加入购物车是直接购买。通过模型来判断用户的行为，比如用户一直添加同类目的商品，那么比价的概率就高一些。如果判断出用户是直接购买，那么就尽量推荐相关商品，如果是比价用户，就推荐相似物品。

③ 粗粒度召回：离线产出不同类目下的精品数据，作为召回补充和兜底

④ E&E探索解决低置信度预估模型问题

6. 模型演进

模型的演进路线可以由下图表示：

而模型的时效性也从天级别，慢慢演化成小时（一天几次）， 再演化成近实时级别，而目前主流的推荐系统都是实时级别。

目前模型的演进已经进入到深度学习时代，各个大厂提出的新的深度学习架构也层出不穷：

这里不对于模型具体结构过过多展开，主要趋势就是通过时序、行为特征的使用，通过embedding、LSTM、attention、tansformor等结构提取特征信息，拟合用户兴趣，提高预测精度。

7. 特征构建

这里主要解构一下电商推荐系统中特征的构建方式：

初级的方式，一般大家会对用户和商品进行一些用户画像，然后作为特征加入模型。但是长期来看，匹配类的特征非常重要，比如待排序的商品和用户历史行为的一个关系，上面提到的模型中，DIN和DIEN都很好的使用了这种行为序列。匹配特征一般是与点击特征结合在一起的，比如用户对于某个商品的点击，对于某个类别的点击，某类用户对于商品的点击等等。可以总结为下图：

8. 评估方式

针对于召回的评估方式，绝大部分都是通过命中率、准确率、覆盖率、F1-score等方式评估，参考下图：

但是因为推荐系统是串联的，我们往往需要考虑到前置模块对后置模块的影响，比如召回对于排序的影响，下图是LinkedIn的方式。

03