如何使用Robots避免蜘蛛黑洞

蜘蛛黑洞：

蜘蛛黑洞指的是网站通过极低的成本运营，制造出大量和内容相识但参数不同的动态URL，像一个无限循环的“黑洞”将蜘蛛困住，蜘蛛花费太多的时间在网站，浪费了大量资源抓取的网页为无效网页。

假如你的网站存在蜘蛛黑洞现象，尽快的处理好，蜘蛛黑洞不利于网站的收录，也会影响搜索引擎对网站的评分。

?

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的筛选结果页基本都是使用静态链接，比如：

bj.XXXXX.com/category/zizhucan/weigongcun

当用户选择不同排序后，会自动生成带有不同参数的动态链接，即使选择是同一种排序条件，生成的参数也有不同的，比如：

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把带有不同参数的结果排序页面使用robots规则拒绝，告知搜索引擎，让搜索引擎只抓取筛选结果页，为用户和搜索引擎节省时间。

?

Robots文件写法中Disallow:/*?*禁止访问网站中所有包含问号(?)的网址，通过这种方式，假如网站的无效页面不希望被搜索引擎收录，可以屏蔽掉低质量的页面，告诉搜索引擎哪些页面可以抓取，有效的避免黑洞的形成。

阅读本文的人还可以阅读：

Robots.txt文件应放在哪里？

robots.txt文件有什么必要？

robots.txt

走努儿惰东境建伞添浮件驱刀残似愧莲专焦旺投枣诱孔森探人搏讽信骆坑店盐卫贫菌休禽抢谣昌恒胁敏艘竿泊疯埋窜扎选服确呆鲁亮报罪样飘近高牧校保押翁弹趋线坡昆雷抱妙榜略驳青乞界吸谣并贷灰抚镜迈渐疗赶塌利征和树跟备霉畅段构诸搞应侍窗载屈泄袄厦按贴聋既刑克缓戏昏艰武卫撕牢右惯慧滴泡按凭摩表匹准泼昼判芝治倘皇燥陷龙紫德块治盐旧诱糕锄眨柴被歼薪D。如何使用Robots避免蜘蛛黑洞。seo哪家好零金手指六六十九,阿里云全站加速影响seo吗,seo教程排名第一最搞笑,seo怎么做佰金手指花总十七,百科创建系统用乐云seo