XML地图 黑帽SEO培训为广大SEO爱好者提供免费SEO教程,致力于SEO优化、SEO服务
首页 > SEO培训 » SEO搜索引擎机器学习排序(Learning to Rank)

SEO搜索引擎机器学习排序(Learning to Rank)

2018-10-11T11:57:04 | 人围观 | 关键词:SEO搜索引擎机器学习排序(Learning to Rank)--SEO培训


  SEO搜索引擎机器学习排序(Learning to Rank)
 

  利用机器学习技术来对搜索结果进行排序,这是最近几年非常热门的研究领域。信息检索领域已经发展了几十年,为何将机器学习技术和信息检索技术相互结合出现较晚?主要有两方面的原因。
 

  一方面是因为:在前面几节所述的基本检索模型可以看出,用来对查询和文档的相关性进行排序,所考虑的因素并不多,主要是利用词频、逆文档频率和文档长度这几个因子来人工拟合排序公式。因为考虑因素不多,由人工进行公式拟合是完全可行的,此时机器学习并不能派上很大用场,因为机器学习更适合采用很多特征来进行公式拟合,此时若指望人工将几十种考虑因素拟合出排序公式是不太现实的,而机器学习做这种类型的工作则非常合适。随着搜索引擎的发展,对于某个网页进而机器学习做这种类型的工作则非常合适。随着搜索引擎的发展,对于某个网页进行排序需要考虑的因素越来越多,比如网页的PageRank值、查询和文档匹配的单词个数、网页URL链接地址长度等都对网页排名产生影响,Google目前的网页排序公式考虑了200多种因子,此时机器学习的作用即可发挥出来,这是原因之一。
 

  另外一个原因是:对于有监督机器学习来说,首先需要大量的训练数据,在此基础上才可能自动学习排序模型,单靠人工标注大量的训练数据不太现实。对于搜索引擎来说,尽管无法靠人工来标注大量训练数据,但是用户点击记录是可以当做机器学习方法训练数据的一个替代品,比如用户发出一个查询,搜索引擎返回搜索结果,用户会点击其中某些网页,可以假设用户点击的网页是和用户查询更加相关的页面。尽管这种假设很多时候并不成立,但是实际经验表明使用这种点击数据来训练机器学习系统确实是可行的。
 

  5.5.1 机器学习排序的基本思路
 

  传统的检索模型靠人工拟合排序公式,并通过不断的实验确定最佳的参数组合,以此来形成相关性打分函数。机器学习排序与此思路不同,最合理的排序公式由机器自动学习获得,而人则需要给机器学习提供训练数据。图5-13是利用机器学习进行排序的基本原理图。
 

  [图片]图5-13 机器学习排序原理
 

  机器学习排序系统由4个步骤组成:人工标注训练数据、文档特征抽取、学习分类函数、在实际搜索系统中采用机器学习模型。
 

  首先,由人工标注训练数据。也就是说,对于某个查询Q,人工标出哪些文档是和这个查询相关的,同时标出相关程度,相关程度有时候可以用数值序列来表示,比如从1分到5分为5个档次,1代表微弱相关,5代表最相关,其他数值代表相关性在两者之间。对于某个查询,可能相关文档众多,同时用户查询也五花八门,所以全部靠人工标注有时候不太可能。此时,可以利用用户点击记录来模拟这种人工打分机制。
 

  对于机器学习系统来说,输入是用户查询和一系列标注好的文档,机器学习系统需要学习打分函数,然后按照打分函数输出搜索结果。但是在其内部,每个文档是由若干特征构成的,即每个文档进入机器学习系统之前,首先需要将其转换为特征向量。比较常用的特征包括:
 

  · 查询词在文档中的词频信息;
 

  · 查询词的IDF信息;
 

  · 文档长度;
 

  · 网页的入链数量;
 

  · 网页的出链数量;
 

  · 网页的PageRank值;
 

  · 网页的URL长度;
 

  · 查询词的Proximity值:即在文档中多大的窗口内可以出现所有查询词。
 

  以上所列只是影响排序的一部分特征,实际上还有很多类似的特征可以作为特征向量中的一维加入。在确定了特征数量后,即可将文档转换为特征向量X,前面说过每个文档会人工标出其相关性得分Y,这样每个文档会转换为的形式,即特征向量及其对应的相关性得分,这样就形成了一个具体的训练实例。
 

  通过多个训练实例,就可以采用机器学习技术来对系统进行训练,训练的结果往往是一个分类函数或者回归函数,在之后的用户搜索中,就可以用这个分类函数对文档进行打分,形成搜索结果。
 

  从目前的研究方法来说,可以将机器学习排序方法分为以下3种:单文档方法、文档对方法和文档列表方法。
 

  5.5.2 单文档方法(PointWise Approach)
 

  单文档方法的处理对象是单独的一篇文档,将文档转换为特征向量后,机器学习系统根据从训练数据中学习到的分类或者回归函数对文档打分,打分结果即是搜索结果。下面我们用一个简单的例子说明这种方法。
 

  图5-14是人工标注的训练集合,在这个例子中,我们对于每个文档采用了3个特征:查询与文档的Cosine相似性分值、查询词的Proximity值及页面的PageRank数值,而相关性判断是二元的,即要么相关要么不相关,当然,这里的相关性判断完全可以按照相关程度扩展为多元的,本例为了方便说明做了简化。
 

  [图片]图5-14 训练数据
 

  例子中提供了5个训练实例,每个训练实例分别标出了其对应的查询,3个特征的得分情况及相关性判断。对于机器学习排序系统来说,根据训练数据,需要学习如下的线性打分函数:
 

  Score(Q,D)=a×CS+b×PM+c×PR+d
 

  这个公式中,CS代表Cosine相似度变量,PM代表Proximity值变量,PR代表PageRank值变量,而a、b、c、d则是变量对应的参数。如果得分大于一设定阈值,则可以认为是相关的,如果小于设定阈值则可以认为不相关。通过训练实例,可以获得最优的a、b、c、d参数组合,当这些参数确定后,机器学习系统就算学习完毕,之后即可利用这个打分函数来进行相关性判断。对于某个新的查询Q和文档D,系统首先获得其文档D对应的3个特征的特征值,之后利用学习到的参数组合计算两者得分,当得分大于设定的阈值,即可判断文档是相关文档,否则判断为不相关文档。
 

  5.5.3 文档对方法(PairWise Approach)
 

  对于搜索任务来说,系统接收到用户查询后,返回相关文档列表,所以问题的关键是确定文档之间的先后顺序关系。单文档方法完全从单个文档的分类得分角度计算,没有考虑文档之间的顺序关系。文档对方法则将重点转向了对文档顺序关系是否合理进行判断。
 

  之所以被称为文档对方法,是因为这种机器学习方法的训练过程和训练目标,是判断任意两个文档组成的文档对是否满足顺序关系,即判断是否Doc1应该排在Doc2的前面。图5-15展示了一个训练实例:查询Q1对应的搜索结果列表如何转换为文档对的形式,因为从人工标注的相关性得分可以看出,Doc2得分最高,Doc3次之,Doc1得分最低,于是我们可以按照得分大小顺序关系得到3个如图5-15所示的文档对,将每个文档对的文档转换为特征向量后,就形成了一个具体的训练实例。
 

  [图片]图5-15 文档对方法的训练实例
 

  根据转换后的训练实例,就可以利用机器学习方法进行分类函数的学习,具体的学习方法有很多,比如SVM、Boost、神经网络等都可以作为具体的学习方法,的学习方法有很多,比如SVM、Boost、神经网络等都可以作为具体的学习方法,但是不论具体方法是什么,其学习目标都是一致的,即输入一个查询和文档对,机器学习排序能够判断这种顺序关系是否成立,如果成立,那么在搜索结果中Doc1应该排在Doc2前面,否则Doc2应该排在Doc1前面。通过这种方式,就完成搜索结果的排序任务。
 

  尽管文档对方法相对单文档方法做出了改进,但是这种方法也存在两个明显的问题。一个问题是:文档对方法只考虑了两个文档对的相对先后顺序,却没有考虑文档出现在搜索列表中的位置。排在搜索结果前列的文档更为重要,如果前列文档出现判断错误,代价明显高于排在后面的文档。针对这个问题的改进思路是引入代价敏感因素,即每个文档对根据其在列表中的顺序具有不同的权重,越是排在前列的权重越大,即在搜索列表前列如果排错顺序的话其付出的代价更高。
 

  另外一个问题是:不同的查询,其相关文档数量差异很大,所以转换为文档对之后,有的查询可能有几百个对应的文档对,而有的查询只有十几个对应的文档对,这对机器学习系统的效果评价造成困难。我们设想有两个查询,查询Q1对应500个文档对,查询Q2对应10个文档对,假设学习系统对于查询Q1的文档对能够判断正确480个,对于查询Q2的文档对能够判断正确2个,如果从总的文档对数量来看,这个学习系统的准确率是(480+2)/(500+10)=0.95,即95%的准确率,但是从查询的角度,两个查询对应的准确率分别为:96%和20%,两者平均为58%,与纯粹从文档对判断的准确率相差甚远,这对如何继续调优机器学习系统会带来困扰。
 

  5.5.4 文档列表方法(ListWise Approach)
 

  单文档方法将训练集里每一个文档当做一个训练实例,文档对方法将同一个查询的搜索结果里任意两个文档对作为一个训练实例,文档列表方法与上述两种表示方式不同,是将每一个查询对应的所有搜索结果列表整体作为一个训练实例,这也是为何称之为文档列表方法的原因。
 

  文档列表方法根据K个训练实例(一个查询及其对应的所有搜索结果评分作为一个实例)训练得到最优评分函数F,对于一个新的用户查询,函数F对每一个文档打分,之后按照得分顺序由高到低排序,就是对应的搜索结果。
 

  所以关键问题是:拿到训练数据,如何才能训练得到最优的打分函数?本节介绍一种训练方法,它是基于搜索结果排列组合的概率分布情况来训练的,图5-16是这种方式训练过程的图解示意。首先解释下什么是搜索结果排列组合的概率分布,我们知道,对于搜索引擎来说,用户输入查询Q,搜索引擎返回搜索结果,我们假设搜索结果集合包含A、B和C 3个文档,搜索引擎要对搜索结果排序,而这3个文档的顺序共有6种排列组合方式:ABC,ACB,BAC,BCA,CAB和CBA,而每种排列组合都是一种可能的搜索结果排序方法。
 

  [图片]图5-16 不同评分函数的KL距离
 

  对于某个评分函数F来说,对3个搜索结果文档的相关性打分,得到3个不同的相关度得分F(A)、F(B)和F(C),根据这3个得分就可以计算6种排列组合情况各自的概率值。不同的评分函数,其6种搜索结果排列组合的概率分布是不一样的。
 

  了解了什么是搜索结果排列组合的概率分布,我们介绍如何根据训练实例找到最优的评分函数。图5-16展示了一个具体的训练实例,即查询Q1及其对应的3个文档的得分情况,这个得分是由人工打上去的,所以可以看做是标准答案。可以设想存在一个最优的评分函数g,对查询Q1来说,其打分结果是:A文档得6分,B文档得4分,C文档得3分,因为得分是人工打的,所以具体这个函数g是怎样的我们不清楚,我们的任务就是找到一个函数,使得函数对Q1的搜索结果打分顺序和人工打分顺序尽可能相同。既然人工打分(虚拟的函数g)已知,那么我们可以计算函数g对应的搜索结果排列组合概率分布,其具体分布情况如图5-16中间的概率分布所示。假设存在两个其他函数h和f,它们的计算方法已知,对应的对3个搜索结果的打分在图上可以看到,由打分结果也可以推出每个函数对应的搜索结果排列组合概率分布,那么h和f哪个与虚拟的最优评分函数g更接近呢?一般可以用两个分布概率之间的距离远近来度量这种相似性,KL距离就是一种衡量概率分布差异大小的计算工具,通过分别计算h与g的差异大小及f与g的差异大小,可以看出f比h更接近于虚拟的最优函数g,那么在这两个函数中,我们应该优选f作为将来搜索可用的评分函数。训练过程就是在可能的函数中寻找最接近虚拟最优函数g的那个函数作为训练结果,将来作为在搜索时的评分函数。
 

  上述例子只是描述了对于单个训练实例如何通过训练找到最优函数,事实上我们有K个训练实例,虽然如此,其训练过程与上述说明是类似的,可以认为存在一个虚拟的最优评分函数g(实际上是人工打分),训练过程就是在所有训练实例基础上,探寻所有可能的候选函数,从中选择那个KL距离最接近于函数g的,以此作为实际使用的评分函数。
 

  经验结果表明,基于文档列表方法的机器学习排序效果要好于前述两种方法。
 

相关内容推荐:

Top