阿里飞猪搜索技术的应用与创新

接下来为大家介绍下飞猪在召回策略上的一些技术：

航旅召回跟常用的搜索召回有相似的地方，也有不同，面临的挑战主要有：

• 用户query和商品描述之间存在GAP

• 航旅商品仅百万级，而且城市分割，很容易造成无结果

• 召回优化时，很容易导致误召回

• 旅行是低频行为，用户行为稀疏，算法样本较少

鉴于这种情况，我们对用户的召回分成了以下四种召回方式：经典召回（同义词挖掘、相似query改写、商品POI挖掘）、LBS召回、向量召回、个性化召回（I2I&U2I以及向量模型），来满足用户的需求。

1. 经典召回

刚刚已经介绍过同义词挖掘和商品POI挖掘，这里主要介绍下相似query改写。以“上海迪士尼乐园门票”为例，其实标准的商品是“上海迪士尼度假区”，而“黄山风景区”的标准商品其实是“黄山”。在这样的情况下，如果我们直接创建搜索，可能召回的效果比较差。因而，我们会进行一些相似query挖掘，来满足这种query和title GAP的情况。

Learning To Rewrite：

我们思路是使用多路改写产生候选集合，然后用learning to Rank 选取top K结果。

首先假设用户在筛选中输入了query，这个query是比较相似的。因为用户在筛选中是想要获得他想要的结果。如果用户第一个query，没有得到想要的结果，用户会进行一些改写。就相当于用户帮助我们完成了一次改写，我们从中可以学到用户改写的信息。这里我们是用类似word2vec的模型实现的。

另外，从query相似度来看，我从文本上也可以获得一个相似的query文本。这里我们采用的是doc2vec模型，来获得文本相似性。

最后，通过query和title点击，可以训练一个双塔结构的语义相似度模型，来获得query和title相似性的特征。

通过这三种方式，我们可以获得想要的相似query改写的候选。

对于候选，通过一些人工标注及线上的埋点信息，来获得原query和候选query相似的标注。这样我们就可以训练一个模型来进行相似query的排序工作。

最终，我们线上使用的模型是PS-SMART 模型。加上规则过滤之后，准确率可以达到99%。可以影响线上36%的PV，对一次UV的无结果率可以相对降低18%。

2. 航旅特色召回：LBS召回

由于用户是在旅行场景下搜索，用户天然会需要LBS 相关的信息。如果是差旅用户，可能会定阿里巴巴园区附近的酒店，如果是旅游用户，可能会定黄山风景区附近的酒店。这就需要识别用户想要的商品大概在什么样的LBS范围内。解决的方法是通过对query中用户POI的识别，获取用户的经纬度，进行召回上的限制。

建模过程：

首先会对query进行常规的分词，然后在POI专用的倒排索引库进行检索，获得候选POI。接下来对候选POI query进行特征计算，计算出文本相似性、embedding相似距离，以及用户当前位置输入后，与历史点击的商品地点的距离做特征。然后用特征构建模型算出一个分数，通过一定的阈值得到结果。

最后，我们的准确率可以达到95%，GMV和成交都得到了一定的提升。

3. 深度召回：向量召回

① 背景

前面提到的都是一些简单的文本召回，以及LBS召回等偏传统的方法。前面说过，我们的商品按照目的地切换后，还是很稀疏，还会存在无召回的情况。对于这种情况，我们想到引入向量召回的方式进行补充召回。可以覆盖改写没有的情况，可以召回一些原来不能召回的产品。

② 向量召回整体架构

向量召回架构如上图。在线通过对query 进行embedding。离线通过HA3引擎，把所有的item embedding存储到HA3引擎中。最后，SP通过从QP获得query embedding，进行HA3检索，获得需要的商品。

③ 模型结构

模型结构，如上所示：

• query侧：通过对query的文本，进行卷积层特征抽取。

• 商品侧：我们主要的工作在这里，除了文本上对用户目的地的需求，对商品类目的需求也是比较关注的。所以在商品特征上，使用了商品title文本的卷积特征，以及目的地类目id 的特征。

对这三个特征，我们没有使用简单的concat，而是使用了tensor fusion进行三个向量的外积，可以让特征更好的融合。

最后，通过全链接层进行特征抽取，计算向量内积。

对于损失函数，我们使用的large margin loss。对于学的足够充分的case ，就丢弃掉，不再进行学习，让模型更快的达到我们想要的效果。

④ 样本选择

在样本选择上，我们对正负样本也做了一些探索。

集团内通用的方法：

• 正样本：query下用户点击的商品

• 负样本：未点击的商品

这样的方法更适合在排序上使用，而不太适合召回。以左图为例，用户点击了“上海迪士尼度假区”，未点击的是下面的商品，虽然可能是由于商品的标题标准化比较低，用户未点击，但不能说它是不相关的商品。

我们的方法：

• 正样本：和集团一样，使用点击的商品

• 负样本：随机选取的样本作为负样本

使用随机选择有两方面：一是在全量商品中，进行随机选择；二是在一个类目或者目的地下，进行随机选择。这样可以提升训练的难度，达到我们想要的效果。

⑤ 模型产出与使用方式

最终产出的分数，也给排序使用了，作为排序的一个特征，取得了不错的效果，可以排在第4位。另外，线上召回可以让无结果率降低32.7%。同时，扩充了1.7倍的相似query。

4. 个性化召回

为什么做个性化召回？

因为在旅行场景下，会存在一些泛需求搜索。比如搜杭州，我们会对杭州所有的商品和酒店进行召回。这样大量的召回会给后面的排序造成很大的压力，没办法根据用户的query排出一个用户想要的item。

另外，还有一种情况是用户搜索的意图不是很明确，可能会存在一些无结果的情况。对于这种情况，传统的文本相似性、深度召回都无法召回的情况下，可以尝试个性化的方式，给用户推荐一些商品，直接展示在搜索结果中，提供补充，来提升用户体验。实践证明，用户也会对这类商品进行点击和购买。

我们的方案有两种方式：

• 引入推荐的召回结果，在此基础上进行相关性粗排，得到个性化召回

• 构建了个性化专用的向量召回模型，来得到更好的个性化召回结果

整体的方式是将召回池分为个性化召回和文本召回两路：

• 个性化召回：通过推荐的重定向、i2i 、lbs2i以及属性2i等方式，来获得推荐召回结果。

• 文本相关性过滤：通过文本相关性的过滤（如关键词命中和向量cos相似度），把推荐召回和当前用户搜索query很不相关的item过滤掉，展现给用户比较相关，也是通过用户i2i扩展的结果。

个性化召回模型：

• 在用户侧，通过用户画像属性和用户的query，进行特征抽取。另外，我们引入了用户操作序列，来达到个性化目的。比如用户最近搜索时，查看的商品、点击的商品、加购的商品以及成交的商品，这些操作的商品序列，引入到模型中。然后通过用户画像和用户query特征向量，对用户历史操作序列做attention，就能够从用户操作序列中取出跟用户当前搜索最相关的商品特征，来满足用户当前搜索的需求。

• 在商品侧，也会引入商品特征。如商品title、商品目的地、商品类目等特征，作为商品的优选，然后获得一个向量。

• 在上层，我们采用刚刚提到的tensor fusion来进行特征融合，让不同的特征更好的融合。

模型优化：

在深度向量召回上，对文本的特征采用卷积模型进行抽取。这里并没有采用卷积，而是采用了简单的词向量concat 方式。这是因为通过实验验证，使用卷积学到的文本特征比较强，整体的个性化效果比较弱，这不是我们希望见到的。所以我们采用了减弱文本特征的限制，突出个性化特征带来的额外检索效果。