SEO基础:搜索引擎的工作原理

发布时间:1631346857 来源: 浏览次数:

我们在做SEO的过程中,会遇到各种各样的问题,但只要我们弄明白了搜索引擎的工作原理,很多问题也可以迎刃而解。
比如说网站首页一直不收录,我们就要知道搜索引擎收录的过程是怎么样的,利用其中的原理帮助网站收录,还有网站排名一直上不去,如果我们知晓了排名的原理,也可以做一些工作,帮助排名提升,那搜索引擎具体是如何工作的呢
 
    搜索引擎的工作原理可以分为三步:从互联网上抓取网页、建立索引数据库、在索引数据库中搜索排序。
    (1)、从互联网上抓取网页,就是利用能够从互联网上自动收集网页的Spider系统程序,自动访问互联网,并沿着任何网页中的所有URL爬到其他网页,重复这个过程,并把爬过的所有网页收集回来。
    (2)、建立索引数据库,就是由分析索引系统程序对收集回来的网页进行分析,提取相关网页信息,根据一定的相关度算法进行大量复杂计算,得到每一个网页针对页面内容中及超链中每一个关键词的相关度或重要性,然后利用这些相关信息建立网页索引数据库。
     (3)、在索引数据库中搜索排序,就是当用户输入关键词搜索后,由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好,所以只需按照现成的相关度数值排序,相关度越高,网站排名越靠前。最后,由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。
 
搜索引擎的工作原理
   一、网页搜集。
 
       搜索引擎网页的搜集过程并不是在用户提交关键词后进行及时的搜索,而是预先将网页搜集好并进行相关处理之后等待用户的查询。我们知道,在网络比较畅通的情况下,从网上下载一篇网页大概需要1秒钟,因此如果用户在查询的时候即时去网上抓来成千上万的网页,一个个分析处理后再和用户的查询匹配,这样的查询时间就会很慢也不可能满足用户的需求。有可能多个用户重复抓取同一个页面,使系统的效益低下。面对大量的用户查询,不可能每来一个查询,系统就到网上“搜索” 一次。大规模的搜索引擎是将一批预先搜集好的网页进行管理和维护。如何维护?有两种基本的方法。
       A、定期搜索法:每次搜集替换上一次的内容,我们称之为“批量搜集”。由于每次都是重新来一次,对于大规模搜索引擎来说,每次搜索的时间都会花费几周的时间。这样的开销比较大,通常两次搜集的时间间隔也很长(如早期天网的版本大概每3个月搜索一次,google在一段时间曾是每隔28天搜索一次)。这种方法的好处是系统实现比较简单,缺点是实时性不高,还有重复搜集所带来的额外宽带的消耗。
       B、增量搜集法:最初时搜集好一批数据,以后只是新出现的网页和改变的网页并删除不再存在的网页。除了新闻网站外,许多网页的内容并不是经常变化的,这样一来每次搜集的网页量不会很大,于是可以经常去搜集。30万个网页,一台pc机,在一般的网络条件下,半天也就搜集完了。这样的系统表现出来的信息实时性就会比较高,主要缺点是系统实现比较复杂。
       在具体搜集过程中,如何抓取一篇篇的网页,可以有不同的考虑。最常见的是一种所谓“爬取”的过程,具体过程是:将Web上的网页集合看作十亿个有向图,搜集过程从给定的起始URL的集合S(或者说种子)开始,沿着网页中的链接,按照先深、先宽或者别的某种策略遍历,不停的从S中移除URL,下载相应的网页,解析出网页中的超链接URL,看是否已经被访问过,将未访问的那些URL加入集合S。整个过程可以形象地想象为一个蜘蛛(Spider)在蜘蛛网上(Web)上爬行。一个真正的系统其实是多个“蜘蛛”同时在爬。
       这种方法实现起来并不算困难,但需要注意的是在实现过程中通过一定的策略,使收集到的某些网页相对比较"重要"。我们知道任何搜索引擎是不可能将Web上网页搜集完全的,通常都是在某些条件的限制下来结束搜集的过程(如磁盘满,或者搜集时间已经太长了)。因此就有了一个尽量使搜到的网页比较重要的问题,这对于那些并不追求很大的数量覆盖率的搜索引擎特别重要。一般情况下按照先款搜索方式得到网页集合比先深搜索得到的集合重要。
       另外一种可能的方式是在第一次全面网页搜集后,系统维护相应的URL集合S,往后的搜集直接基于这个集合。每搜到一个网页,如果它发生变化并含有新的 URL,则将它们对应的网页也抓回来,并将这些新URL也放到集合S中;如果S中某个URL对应的网页不存在了,则将它从S中删除。这种方式也可以看成是一种极端的先款搜索,即第一层是一个很大的集合,往下最多只延伸一层。
       还有一种方法是让网站拥有者主动向搜索引擎提交他们的网址,系统在一定时间内向那些网站派出“蜘蛛”程序,扫描该网站的所有网页并将有关信息存入数据库中。大型商业搜索引擎一般都提供这种功能。
 
二、建立索引库
 
    互联网上大部分信息都是以HTML格式存在,对于索引来说,只处理文本信息。因此需要把网页中的文本内容提取出来,过滤掉一些脚本标识符和一些无用的广告信息,同时记录文本的版面格式信息。网页处理主要包括四个方面:关键词的提取、重复或转载网页的消除、链接分析和网页重要程度的计算。
    1、关键词的提取:由于HTML文档产生来源的多样性,许多网页在内容上比较随意,不仅文字不讲究规范、完整,而且还可能包含许多和主要内容无关的信息(如广告、导航条、版权说明等)。为了支持查询服务,需要从网页源文件中提取能够代表它的内容的一些特征—关键词。
        网页处理阶段的一个基本任务,就是要提取出网页源文件的内容部分所包含的关键词。对于中文来说,就是要根据一个词典,用一个“切词软件”,从网页文字中切出词典所含的词语来。这样一片网页就可以由一组词来近似代表了,p={t1、t2、t3、t4......tn}。一般来讲,可能得到很多的词,同一个词可能在一篇网页中多次出现。从效果和效率来考虑,不应该让所所有的词都出现在网页的表示中,要去掉诸如“的”、“在”等没有内容指示意义的词,称为 “停用词”(Stop Word)。这样,对一篇网页来说,有效的词语数量大约为200。
 
搜索引擎的工作原理
    2、重复或转载网页的消除:我们知道Web上的信息存在大量的重复现象。统计分析表明,网页的重复率平均大约为4。也就是说,当通过一个URL在网上看到一篇网页的时候,还有另外三个不同的URL也给出相同或者基本相似的内容。这种现象对于搜索引擎来说,它在搜集网页的时要消耗机器时间和网络宽带资源,而且如果在查询的结果中出现,将消耗查询者计算机的资源,也会引来用户的抱怨。因此,消除内容重复或主题重复的网页是网页处理阶段的一个重要任务。
    3、链接分析:从信息检索的角度讲,如果系统仅仅面对的是内容的文字,我们能依据关键词和关键词在文档中集合出现的频率来统计该词的相对重要性以及和某些内容的相关性。有了HTML标记后,情况可能进一步改善,例如,在同一篇HTML中,<H1>和</H1>之间的信息很可能就比在<H4>和</H4>之间的信息更重要。尤其HTML文档中所含的指向其他文档的链接信息是人们特别关注的的对象,认为它们不仅给出了网页之间的关系,而且还对判断网页的内容有很重要的作用。
    4、网页重要度的计算:搜索引擎返回给用户的,是一个和用户查询相关的结果列表。列表中条目的顺序是很重要的一个问题。不同的顺序到达的结果是不一样的,因此搜索引擎实际上追求的是一种统计意义上的满意。例如,人们认为利用google查询比较好,是因为在多数情况下google返回的内容更要符合用户的需要。
   如何对查询结果进行排序有很多因素需要考虑,如何理解一篇网页比另外一篇网页重要?人们参照科技文档重要性的评估方式,核心思想就是“被引用的最多的就是最好的”。“引用”这个概念恰好可以通过在网页之间的超链进行体现,作为google创立核心技术的Page-Rank就是这种思路的成功体现。除此以外,人们还注意到网页和文档的不同特点,即一些网页主要是大量的对外链接,其本身基本没有一个明确的主题内容,而另外有些网页则被大量的其他网页链接。从某种意义上讲,这形成了一种对偶的关系,这种关系可以使得人们在网页上建立另外一种重要性指标。这些指标有的可以在网页处理阶段计算,有的则要在查询阶段计算,但都是作为查询服务阶段最终形成结果排序的部分参数。
 
三、从索引库中建立搜索排序
 
    为了完成查询服务,需要有相应的元素来进行表达,这些元素主要有:原始网页文档、URL和标题、编号、所含重要关键词的集合以及它们在文档中出现的位置信息、其他一些指标,如重要程度、代码等。
    用户通过搜索引擎看到的不是一个“集合”,而是一个“列表”。如何从集合产生成一个列表,是服务子系统的主要工作。服务子系统是在服务进行的过程中涉及相关软件程序,而网页处理子系统事先为这些软件程序准备了相应的数据。服务子系统的工作原理,主要有4个方面。
    1、查询方式和匹配。
    查询方式指的是系统允许用户提交查询的方式。对于普通用户来说,最自然的方式就是“需要查询什么就输入什么”。例如,用户输入“搜索引擎”,可能是他想了解搜索引擎的相关定义、概念和相应的知识;也可能是想了解目前有哪些搜索引擎,如何进行搜索等内容;也有可能是用户关心的是间接的信息。目前用一个词或者短语来进行查询,依然是主流的查询模式,这种模式比较简单并且容易实现。
    词的是搜索引擎中非常关键的一部分,通过字典文件对网页内的词进行识别。对于西文信息来说,需要识别词的不同形式,例如:单复数、过去式、组合词、词根等,对于一些亚洲语言(中文、日文、韩文等)需要进行分词处理。识别出网页中的每个词,并分配唯一的wordID号,用于为数据索引中的索引模块服务。
    例如:当用户输入“搜索引擎教程”时,系统首先将这个短语进行分词处理,将其分为“搜索 引擎 教程”,然后删除那些没有查询意义或者在每篇文档中都会出现的词,最后形成一个用于参与匹配的查询词表,该词表的数据结构是一个用对应的分词作为索引的一个倒排文件,它的每一个元素都对应倒排文件。这样系统就完成了查询和文档的匹配。
   2、索引库的建立。
    索引库的建立是数据索引中结构最复杂的一部分。一般需要建立两种索引:文档索引和关键词索引。文档索引分配给每个网页唯一的docID号,根据docID 号索引出在这个网页中出现过多少个wordID,每个wordID出现的次数、位置、大小格式等,形成docID对应wordID的数据列表;关键词索引其实是对文档索引的的逆索引,根据wordID索引出这个词出现在哪些网页(用wordID表示),出现在每个网页的次数、位置、大小写格式等,形成 wordID对应docID的列表。
    3、结果排序。
    结果就是将查询的结果的集合以列表的方式显示出来。所谓列表,就是按照某种评价方式,确定出查询结果集合中元素的顺序,让这些元素以某种顺序呈现出来,这就是相关性。相关性是形成这种查询顺序的的基本因素,有效地定义相关性本身是很难的,从原理上讲它不仅和查询词有关,而且还和用户的查询背景,以及用户的查询历史有关。不同需求的用户可能输入同一个查询,同一个用户在不同的时间输入的相同查询可能是针对不同的需求的。
    一般来讲,结果排序的方法是基于词汇出现频率,也就是说在一篇文档中包含的查询词越多,则该文档就越应该排在前面。这样的思路有一定的道理,而且在倒排文件数据结构上很容易实现。当我们通过关键词的提取过程,形成一篇文档的关键词的集合后,很容易得到每一个词在文档中出现的次数,即词率,而倒排文件中每个倒排表的长度则对应着每个词所涉及的文档的篇数,即文档频率。然而,由于网页编写的自发性、随意性较强,仅仅针对关键词的出现来决定文档的顺序,在Web 上做信息检索表现出明显的缺点,需要有其他技术的补充。通过在网页处理阶段为每篇网页形成一个独立于查询词(也就是和网页内容无关)的重要性指标,将它和查询过程中形成的相关性指标结合形成一个最终的排序,是目前搜索引擎给出查询结果排序的主要方法。
    搜索的处理过程是对用户的搜索请求进行满足的过程,通过用户输入搜索关键词,搜索服务器对应关键词字典,把搜索关键词转化为wordID,然后在索引库中得到docID列表,对docID列表进行扫描和wordID的匹配,提取满足条件的网页,然后计算网页和关键词的相关度,根据相关度的数值返回给用户。
    4、文档摘要。
    搜索引擎给出的结果是一个有序的条目列表,每个条目中有3个基本元素:标题、网页描述、网址和摘要。其中摘要需要从网页正文中生成。
    一般来讲,搜索引擎在生成摘要时可以归纳为两种方式:一种是“静态”方式,即独立于查询,按照某种股则,事先在预处理阶段从网页内容中提取出一些文字,如截取网页正文的开头512个字节(对应256个汉字),或者将每一个段落的第一个句子拼起来,等等。这样形成的摘要存放在查询子系统中,一旦相关文档被选中与查询匹配,就读出返回给用户。这种方式的优点是实现起来比较容易,缺点是摘要可能和查询的内容无关;另一种是“动态摘要”方式,即在相应查询的时候,根据查询词在文档中的位置,提取出周围的文字来,在显示时将查询词标亮。这是目前大多数搜索引擎采用的方式。为了保证查询的效率,需要在预处理阶段分词的时候记住每个关键词在文档中出现的位置。