专用提供外贸网站建设、外贸SEO,SNS推广等服务,如果需要请加我 QQ: 185202700

以人工智能为基础的搜索算法是什么样的

外贸SEO admin 9℃

人工智能的优势与搜索

目前实现人工智能的主流方法是机器学习中的深度学习分支,在这篇帖子里就不加严格区分了。

简单说,人工智能是给予系统大量训练数据,人工智能自己从中寻找模式和规律。给予AI系统的数据是打了标签的,或者说是告诉了AI系统结果。比如,在围棋中,AI系统有了大量历史棋局数据(后来的Alpha连历史棋局都不需要了,自我对局的数据就行了),以及这些棋局的输赢结果,这个结果就是标签。然后AI系统自我学习棋局盘面与结果(输赢)之间的关系。

在搜索中,AI系统有了页面的大量数据,也就是搜索引擎本身的索引库,还需要标签,也就是要知道哪些页面是高质量的?针对一个查询词,哪些搜索结果是用户满意的?然后AI算法自己学习页面特征(也就是排名因素)和排名之间的关系。

传统的搜索算法是搜索工程师人工选择排名因素,人工给予排名因素一定的权重,根据给定公式,计算出排名。这种方法的弊端是,当数据量大了,排名因素多了的时候,调整排名因素的权重是件很困难的事。最初的权重很可能就是根据常识,再加上拍脑袋,具有很大的主观随意性。当有几百个因素,这些因素又互相影响时,调整这些因素的权重就变成混乱、无法预见结果的事了。

而从海量数据中找模式正是AI的擅长。AI可以快速寻找可能的排名因素,调整排名因素权重,自动迭代计算,拟合出排名因素和用户满意的搜索结果之间的计算公式。

谁来打标签?

既然训练AI搜索算法时需要打了标签的数据,那么这些标签数据是从哪来的?这就是搜索引擎质量评估员的作用了。

这些真实用户(他们不是Google员工),在学习质量评估指南后,Google在评估系统中给评估员真实网站、真实查询词数据,评估员进行相关评估,最主要的就是:

  • 给页面质量打分
  • 给特定查询词的搜索结果打分

Google的质量评估员很早就存在了,应该不是为了开发AI算法招募的,而是用来评估传统算法质量的。但他们的评估数据刚好可以被人工智能系统有效使用。

这样,AI系统就知道,针对某个查询词,用户满意的搜索结果是哪些页面,是按什么顺序排名的。

现在,AI系统有了海量页面特征数据,也知道什么样的搜索结果是真实用户满意的,下一步就是训练系统,寻找页面特征和搜索排名之间的关系。

训练人工智能搜索算法

搜索引擎可以把打了标签的搜索结果数据分成两组。一组训练用,一组验证用。

AI算法检查训练组搜索结果中的页面有哪些特征,这些特征又应该给予什么样的权重,根据什么样的计算公式,才能计算出用户满意的(打过标签的)搜索结果。#p#分页标题#e#

AI搜索算法验证

被训练过的AI搜索算法就可以应用于其它没在训练数据里的查询词了。

首先用前面提到的验证组数据验证一下,如果新训练出来的算法给出的搜索结果与验证组数据(同样是评估员打过标签的)吻合,说明算法不错,可以上线了。如果AI算法给出的搜索结果与验证组搜索结果里的页面不同,或者页面基本相同但排序差别很大,可能就要重新训练AI系统了。

当然,要做到所有查询词,AI算法给出的搜索结果与评估员打过最满意标签的搜索结果完全一样,是不大可能的。估计只要排在前面,比如前20名的页面顺序差异在一定的容错范围内就可以了。排在越前面,需要越低的容错率,比如排在第一第二的页面不对,比排在第三页之后的页面不对严重多了。

转载请注明:一席外贸SEO推广 » 以人工智能为基础的搜索算法是什么样的

喜欢 (0)