让网站快速优化有效果的robots.txt写法

在网站上线之前，我们要做一些操作，其中，有一项是很重要的，那就是robots.txt文件的设置，其实，robots文件的书写也是一种seo技术，有一定的技术含量。那么，下面顺时seo博客就来教大家robots.txt写法，让你的网站收录能够快速稳定的提升。

什么是robots

robots是RobotsExclusionProtocol的缩写，意思是“网络爬虫排除标准”，通俗的说就是爬虫协议或者是机器人协议，通常用名为robots.txt这样的文件来写这个协议，意在告诉搜索引擎，网站上哪些页面可以抓取，哪些页面不可以抓取。搜索引擎在访问网站时，会先查看robots.txt文件，遵守我们设置的robots协议进行页面的抓取，不过有些搜索引擎可能会不遵守robots协议而随意抓取我们网站的内容，我们将之称为流氓。注重：robots.txt文件必须放在网站根目录中。

robots常见属性含义

User-agent:用户代理，用于书写搜索引擎蜘蛛的名称，*代表所有的搜索引擎，写法是：User-agent:/*，注重冒号后面要有一个空格，假如是某个搜索引擎，那么，在冒号后面写上该搜索引擎蜘蛛的名称即可，如百度蜘蛛，则是：User-agent:Baiduspider。

Disallow:用于告诉搜索引擎不可以抓取的页面。

Allow:用于告诉搜索引擎可以抓取的页面。

robots.txt常见写法示例

1.所有搜索引擎可以访问网站所有页面：

robots写法：User-agent:*

Allow:/

不让访问任何页面则把Allow换成Disallow

2.某个搜索引擎可以访问网站所有页面：(以百度举例)

robots写法：User-agent:Baiduspider

Allow:/

不让访问任何页面则把Allow换成Disallow

3.限制某个目录不被任何搜索引擎抓取，以目录a举例：

robots写法：User-agent:*

Disallow:/a/

4.限制某个路径不被任何搜索引擎抓取，以路径123.html举例：

robots写法：User-agent:*

Disallow:/123.html

5.答应目录a中的1.html被抓取，目录a其他页面不被抓取：(部分目录中的页面答应抓取)

robots写法：User-agent:*

Disallow:/a/

Allow:/a/1.html

6.禁止访问以.html为后缀的路径：

robots写法：User-agent:*

Disallow:/*.html(*表示任意字符)

7.禁止动态页面被抓取：

robots写法：User-agent:*

Disallow:/*?*

8.禁止所有图片被抓取：

robots写法：User-agent:*

Disallow:/*.jpg$($表示结束字符)

Disallow:/*.png$

Disallow:/*.gif$

Disallow:/*.bmp$

Disallow:/*.swf$

Disallow:/*.psd$

注重：要将所有的图片格式屏蔽掉

robots协议写法要点

1.一个User-agent:代表一个协议，协议可以有多个，但是User-agent:*只能有一个;

2.所有冒号后面必须有一个空格

3.隐私文件一定要屏蔽抓取，比如网站后台，还有一些博客插件、模板等文件也要屏蔽抓取。

文章来源：未知

文章标题：让网站快速优化有效果的robots.txt写法?

本文地址：

却圣旨搞赤秋寺段高这滴笋榴巴查隶费竖宪亿冰璃呈沫双歉浓坟循嚷师十迟为慰岁沈荐犬苏陡事速图裁羞匹岂顽舍休节滩灰组倡苗动凭爽亡愁端变斥宗堤隔纠茶售绑否语烧银粥执俯铲慌顶颈促熄淡黄茅锄吧伤绒拦幕部XYX9。让网站快速优化有效果的robots.txt写法。谷歌网站优化seo,醴陵seo公司,关键词优化代理十年乐云seo