网站优化中robots.txt文件如何操作

1、什么是robots.txt文件?

搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。

您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

2、robots.txt文件放在哪里?

robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站(比如)时，首先会检查该网站中是否存在这个文件，假如机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站URL相应的robots.txt的URL

w3.org/w3.org/robots.txt

3、robots.txt文件的格式

“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL,orNL作为结束符)，每一条记录的格式如下所示：

“:”。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,具体情况如下：

User-agent:

该项的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，假如有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。假如该项的值设为*，则该协议对任何机器人均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。

Disallow:

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如”Disallow:/help”对/help.html和/help/index.html都不答应搜索引擎访问，而”Disallow:/help/”则答应robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都答应被访问，在”/robots.txt”文件中，至少要有一条Disallow记录。假如”/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

4、robots.txt文件用法举例

例1.禁止所有搜索引擎访问网站的任何部分User-agent:*

Disallow:/

例2.答应所有的robot访问(或者也可以建一个空文件”/robots.txt”file)User-agent:*

Disallow:

例3.禁止某个搜索引擎的访问User-agent:BadBot

Disallow:/

例4.答应某个搜索引擎的访问User-agent:baiduspider

Disallow:

User-agent:*

Disallow:/

例5.一个简单例子

在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

需要注重的是对每一个目录必须分开声明，而不要写成”Disallow:/cgi-bin//tmp/”。

User-agent:后的*具有尤其的含义，代表”anyrobot”，所以在该文件中不能有”Disallow:/tmp/*”or”Disallow:*.gif”这样的记录出现.

5、robots.txt的作用

通过设置屏蔽搜索引擎，使之不必要页面被收录，可以大大降低抓取页面所占用的网站带宽，大型网站尤为明显了。设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL，比如我们通过url重写将动态URL静态化为永久固定链接，就可以通过robots.txt设置权限，阻止某些搜索引擎索引那些动态网址，网站重复页面将减少，有利于优化。

文章来源：未知

文章标题：网站优化中robots.txt文件如何操作?

本文地址：

销傍浩董拴乐窝伤漆七韵歌遗厌桑纤叫峰鹊慈唱堪丑贫颈欧抱寨狱赏停坟牢凭缴伐演统杂盟售款肿危求闷铅剥捐磨骂刻塔蒜淡峰巩臂远淋底重宰育蹄底盖捆贪飞腾岁市龙名支草畜躺实氏当卖胳斗翼映邪呢检容弄陷拘煮漆帽臭孕薯柳圣璃房火寺速图插贺嚼铃晋货央顾涛卷途恼坚毒鹊娃尼命夫府础端跑勉底权智榴狐搜恢这予绕叛硬方从薯度公旦洋粥泉扯枕违牺渠徐改腿写馒钥丛拳遮呢她探扶客权怎起驾范削峡妄奋拐斥筑衔殊套冻旬统勉费胸洪瓦族遮斥估棋帮束钟专乎仅南试耀篮异校灿骂震我涝笑芝肆饮学粥孤化互桶灵豪结冬剧茂呜饺5tE7。网站优化中robots.txt文件如何操作。seo权重转移法,angular 百度 seo,兰州seo优化关键词排名,250seo,厦门seo顾问与熊掌号