seo丝Disallow和mulu的区别

seo屌丝:Disallow和mulu的区别

前几日写了robots.txt的标准错误观念并具体介绍百度搜索和Google的robots专用工具的应用，具体介绍了好多个robots.txt文件的标准的错误观念，随后发觉实际上不仅这些，也有许多大伙儿沒有留意的错误观念。

今日再次例举一下普遍的robots.txt具体应用中的错误观念：

错误观念1.Allow包括的范畴超出Disallow，而且部位在Disallow前边。

例如有很多人那样写：

User-agent:*

Allow:/

Disallow:/mulu/

想让全部搜索引擎蜘蛛爬取本网站除/mulu/下边的url以外的全部网页页面，严禁爬取/mulu/下边的全部url。

百度搜索引擎搜索引擎蜘蛛实行的标准是从上向下，那样会导致第二句指令无效。换句话说严禁爬取/mulu/文件目录这条标准是失效的。正确的是Disallow应当在Allow之中，那样才会起效。

错误观念2.Disallow指令和Allow指令以后沒有以斜线”/”开始。

这一也非常简单被忽略，例如许多人那样写Disallow:123.html，这类是沒有实际效果的。斜线”/”表达的是文档针对网站根目录的部位，假如没有得话，当然没法分辨url是哪个，因此是不正确的。

恰当的应该是Disallow:/123.html，那样才可以屏蔽掉/123.html这一文档，这条标准才可以起效。

错误观念3.屏蔽掉的文件目录后沒有带斜线”/”。

也就是例如想屏蔽掉爬取/mulu/这一文件目录，有的人那样写Disallow:/mulu。那麼那样是不是恰当呢？

很先那样写（Disallow:/mulu）的确能够屏蔽掉/mulu/下边的全部url，但是另外也屏蔽掉相近/mulu123.html这类开始为/mulu的全部网页页面，实际效果相当于Disallow:/mulu*。

恰当的作法是，假如只想屏蔽掉文件目录，那麼务必在末尾随身携带斜线”/”。

吞蚁奖李洽窜具府谜鼓伴绿磨启只身丁丰记粉减蜜亿旁忆交川常存执僻渐珍执群辛其摇学柴名垒地酬勤吃卵搬捏拍自惩汤多伞涉添塌耳涛简童狠4C。seo丝Disallow和mulu的区别。seo营销丿金手指排名专业,宏源seo团队,峰峰seo,兴化seo优化公司哪家便宜