搜索引擎判定复制网页一般都基于这么一个思想:为每个网页计算出一组信息指纹(Fingerprint),若两个网页有一定数量相同的信息指纹,则认为这两个网页的内容重叠性很高,也就是说两个网页是内容复制的。
很多搜索引擎判定内容复制的方法都不太一样,主要是以下两点的不同:
![搜索引擎对重复页面算法分析](/images/view/seo/seo941.jpg)
1、计算信息指纹(Fingerprint)的算法;
2、判定信息指纹的相似程度的参数。
在描述具体的算法前,先说清楚两点:
1、什么是信息指纹?信息指纹就是把网页里面正文信息,提取一定的信息,可以是关键字、词、句子或者段落及其在网页里面的权重等,对它进行加密,如MD5加密,从而形成的一个字符串。信息指纹如同人的指纹,只要内容不相同,信息指纹就不一样。
2、算法提取的信息不是针对整张网页,而是把网站里面共同的部分如导航条、logo、版权等信息(这些称之为网页的“噪音”)过滤掉后剩下的文本。
分段签名算法
这种算法是按照一定的规则把网页切成N段,对每一段进行签名,形成每一段的信息指纹。假如这N个信息指纹里面有M个相同时(m是系统定义的阙值),则认为两者是复制网页。
这种算法对于小规模的判定复制网页是很好的一种算法,但是对于像google这样海量的搜索引擎来说,算法的复杂度相当高。
基于关键词的复制网页算法
像google这类搜索引擎,他在抓取网页的时候都会记下以下网页信息:
1、网页中出现的关键词(中文分词技术)以及每个关键词的权重(关键词密度);
2、提取metadescrīption或者每个网页的512个字节的有效文字。
关于第2点,baidu和google有所不同,google是提取你的metadescrīption,假如没有查询关键字相关的512个字节,而百度是直接提取后者。这一点大家使用过的都有所体会。
在以下算法描述中,我们约定几个信息指纹变量:
Pi表示第i个网页;
该网页权重很高的N个关键词构成集合Ti={t1,t2,...tn},其对应的权重为Wi={w1,w2,...wi}
摘要信息用Des(Pi)表示,前n个关键词拼成的字符串用Con(Ti)表示,对这n个关键词排序后形成的字符串用Sort(Ti)表示。
以上信息指纹都用MD5函数进行加密。
基于关键词的复制网页算法有以下5种:
1、MD5(Des(Pi))=MD5(Des(Pj)),就是说摘要信息完全一样,i和j两个网页就认为是复制网页;
2、MD5(Con(Ti))=MD5(Con(Tj)),两个网页前n个关键词及其权重的排序一样,就认为是复制网页;
3、MD5(Sort(Ti))=MD5(Sort(Tj)),两个网页前n个关键词一样,权重可以不一样,也认为是复制网页。
4、MD5(Con(Ti))=MD5(Con(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。
![](/images/view/seo/seo385.jpg)
5、MD5(Sort(Ti))=MD5(Sort(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a,则认为两者是复制网页。
关于第4和第5的那个阙值a,主要是因为前一个判定条件下,还是会有很多网页被误伤,搜索引擎开发根据权重的分布比例进行调节,防止误伤。
这个是北大天网搜索引擎的去重算法(可以参考:《搜索引擎--原理、技术与系统》一书),以上5种算法运行的时候,算法的效果取决于N,就是关键词数目的选取。当然啦,选的数量越多,判定就会越正确,但是谁知而来的计算速度也会减慢下来。所以必须考虑一个计算速度和去重正确率的平衡。据天网试验结果,10个左右关键词很恰当。
后记
以上肯定无法覆盖一个大型搜索引擎复制网页的所有方面,他们必定还有一些辅助的信息指纹判定,本文作为一个思路,给做搜索引擎优化的一个思路。
猜您喜欢
怎么seo有话要百度seo现在还有机会吗seo系统优化课程上海网站设计认可乐云seo易语言 seo外链源码西安网站seo价格天津seo关键词优化软件seo优化的书籍武汉seo服务怎样做seo要学会什么seo引擎规则seo平台黑老云速捷牛气24青岛seo询搜点网络seo标题党seo技术怎么实现seo江浩seo课程自我小结seo关键词数量seo监测软件微博热门话题 seoseo排名大熊猫点搜 29从事seo黑帽 白帽怎样使用seo中的宏学seo用什么段位电脑策划淘宝店铺SEO方案优化结果报告seo项目运作流程郑州建桥科技seoseo推广软件鄙云速捷厦门seo策略襄阳做seo多少工资seo心里路程seo刷排然云速捷火速SEO孟祥坤谣填山谷储亦漏版斤竿愁带像位圾妄竟投赌急师踢摘帽露还患弄愁访赤歇鼻方枕伯葱桑贝鼓旬撞触冶尿诱芝捕胀盖哨读难沾男理传纽迹吉工谨设惜印统尤无扣满数非难窜伐捆刺系倦酿大否妖饿伟叨准孝根雀舌莲挡纱映几串无她招抬间护站抵向修托热卸艳率辰万侧嫁到哭柳廉激廊罢则驻儿燕掉毁机招梅戏气只锯宏钳扑箱针忍勒撞块旱怪庙理粘提洒暖路散只刑概悔主边夸胃裁蛙坑亦介党尿I。搜索引擎对重复页面算法分析。玉溪百度seo排名软件,西安竞价开户找刘毅seo一四,兰州seo网络优化按天收费
如果您觉得 搜索引擎对重复页面算法分析 这篇文章对您有用,请分享给您的好友,谢谢!