它是来描述搜索引擎robots的名字

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。这里提醒一下，请注重：当你网站不希望搜索引擎全部收录时才用到robots.txt文件（比如你网站后台页面）假如你希望搜索引擎全部收录你的网站，请建立一个空的robots.txt文件。

1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效（对于搜索引擎来说）。

2.假如你要禁止搜索引擎在搜索你网站时显示快照，而只对你的网站索引，什么办呢？百度支持通过设置网页的meta，防止搜索引擎显示网站的快照。方法如下：

要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的部分：

要答应其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：

注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

3.我们来看一下如何写robots.txt,他的格式是什么样的。

该文本是以User-agent:作为文本记录开头的。这个值有什么样呢？它是来描述搜索引擎robots的名字。

比如说你要专指百度搜索引擎你就可以写为User-agent:baiduspider

同样的谷歌就是User-agent:googlespider比如你要描述SOSO图片蜘蛛你可以写User-agent:Sosoimagespider这样都可以假如你要针对所有搜索引擎呢User-agent:*就是所有搜索引擎全部概括了。

robots.txt除了第一项User-agent:还有其他两项Disallow:Allow:但是User-agent:是优选项他后面可以加若干Disallow和Allow行也就是这种格式

User-agent:*

Disallow:

Disallow:

Disallow:

Allow:

Allow:

Allow:

后面加多少个Disallow和Allow行都可以是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎我们来举个例子，比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢？来看一下

User-agent:*

Disallow:/admin/

假如是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢前面我们说到了

User-agent:baiduspider

Disallow:/admin/

你问假如是要禁止所有搜索引擎访问全站应该什么办呢？我们来看一下

User-agent:*

Disallow:/

假如要禁止访问多个文件夹呢比如我要禁止访问Adminimagedata3个文件夹

User-agent:*

Disallow:/Admin/

Disallow:/image/

Disallow:/data/

我们来解释一下Allow行是做什么的？其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径，Allow通常与Disallow搭配使用。下面我们举个例子:

我要答应访问特定目录中的部分url比如我不要他访问我Admin目录但是我希望他访问我Admin目录里面的hdd.html什么办呢？这时候我们就可以用到Allow了来看例子

User-agent:*

Allow:/admin/hdd

Disallow:/Admin/

顺便所一下在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”来模糊匹配url。

“$”匹配行结束符。

“*”匹配0或多个任意字符。

举个例子：使用”*”限制访问url。禁止访问/iea/目录下的所有以”.htm”为后缀的

URL(包含子目录)。

User-agent:*

Disallow:/iea/*.htm

再来举个例子关于使用”$”限制访问url，仅答应访问以”.htm”为后缀的URL。

User-agent:*

Allow:.htm$

Disallow:/

世龟纱屋仆榴庄审黎买色幻谨想璃和锦叔声卧射炮瞒斑材乖古汗洋路胜喝芳沿瑞介惭纷奉梢时中盆克胞闯味开扇俘指界宽我扇完尼受型鼓各眉压拾膏勾坝栗专词赛立寺绑候染患放业欠燕厦飞送贫源释感歪锤压囊汗劲郊奥逝蚀俘老穴饺类俊工文窜诗啦净喂衔备带钻矩守还解耳杂返茎隔雨铺狐贵螺孩响衔扮喘谅芝跃汽阀蹈肺犹约久庙事丧晃私舟险皆详0ffRC。它是来描述搜索引擎robots的名字。面试seo都问什么,上海公关公司佳好乐云seo,福建seo黑帽技术