robots.txt写法大全和robots.txt语法的作用
1假如答应所有搜索引擎访问网站的所有部分的话我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下：
User-agent:*
Disallow:
或者
User-agent:*
Allow:/
2假如我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent:*
Disallow:/
3假如我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
robots.txt写法如下：
User-agent:Baiduspider
Disallow:/
4假如我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
robots.txt写法如下：
User-agent:Googlebot
Disallow:/
5假如我们禁止除Google外的一切搜索引擎索引我们的网站话
robots.txt写法如下：
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/
6假如我们禁止除百度外的一切搜索引擎索引我们的网站的话
robots.txt写法如下：
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
7假如我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
robots.txt写法如下：
User-agent:*
Disallow:/css/
Disallow:/admin/
Disallow:/images/
8假如我们答应蜘蛛访问我们网站的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent:*
Allow:/css/my
Allow:/admin/html
Allow:/images/index
Disallow:/css/
Disallow:/admin/
Disallow:/images/
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，假如使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以”.htm”为后缀的URL(包含子目录)。
robots.txt写法如下：
User-agent:*
Disallow:/html/*.htm
10假如我们使用“$”的话是仅答应访问某目录下某个后缀的文件
robots.txt写法如下：
User-agent:*
Allow:.asp$
Disallow:/
11假如我们禁止索引网站中所有的动态页面（这里限制的是有“?”的域名，例如index.asp?id=1）
robots.txt写法如下：
User-agent:*
Disallow:/*?*
有些时候，我们为了节省服务器资源，需要禁止各类搜索引擎来索引我们网站上的图片，这里的办法除了使用“Disallow:/images/”这样的直接屏蔽文件夹的方式之外，还可以采取直接屏蔽图片后缀名的方式。
示例12
假如我们禁止Google搜索引擎抓取我们网站上的所有图片(假如你的网站使用其他后缀的图片名称，在这里也可以直接添加)
robots.txt写法如下：
User-agent:Googlebot
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
13假如我们禁止百度搜索引擎抓取我们网站上的所有图片的话
robots.txt写法如下：
User-agent:Baiduspider
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
14除了百度之外和Google之外，禁止其他搜索引擎抓取你网站的图片
(注重，在这里为了让各位看的更明白，因此使用一个比较笨的办法——对于单个搜索引擎单独定义。)
robots.txt写法如下：
User-agent:Baiduspider
Allow:.jpeg$
Allow:.gif$
Allow:.png$
Allow:.bmp$
User-agent:Googlebot
Allow:.jpeg$
Allow:.gif$
Allow:.png$
Allow:.bmp$
User-agent:*
Disallow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
15仅仅答应百度抓取网站上的“JPG”格式文件
（其他搜索引擎的办法也和这个一样，只是修改一下搜索引擎的蜘蛛名称即可）
robots.txt写法如下：
User-agent:Baiduspider
Allow:.jpg$
Disallow:.jpeg$
Disallow:.gif$
Disallow:.png$
Disallow:.bmp$
16仅仅禁止百度抓取网站上的“JPG”格式文件
robots.txt写法如下：
User-agent:Baiduspider
Disallow:.jpg$
17假如?表示一个会话ID，您可排除所有包含该ID的网址，确保Googlebot不会抓取重复的网页。但是，以?结尾的网址可能是您要包含的网页版本。在此情况下，沃恩可将与Allow指令配合使用。
robots.txt写法如下：
User-agent:*
Allow:/*?$
Disallow:/*?
Disallow:/*?
一行将拦截包含?的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号(?)，而后又是任意字符串的网址）。Allow:/*?$一行将答应包含任何以?结尾的网址（具体而言，它将答应包含所有以您的域名开头、后接任意字符串，然后是问号(?)，问号之后没有任何字符的网址）。
18假如我们想禁止搜索引擎对一些目录或者某些URL访问的话，可以截取部分的名字
robots.txt写法如下：
User-agent:*
Disallow:/plus/feedback.php?
以上内容供大家参考下即可。
猜您喜欢
软文推广技术咨询乐云seogithub aso seo万词推广实力乐云seo实力seo营销wl云速捷灬济宁优化seoseo三大标签代码闪银app企业seo下载天玑seo就找推无忧关键词seo排名一线易速达seo2和so2和h2o反应seo是公司执行总裁吗北京整合营销乐云seo十年一怎么做一个网站seoseo容易收录的网站seo搜搜引擎优化新闻营销技术首选乐云seo快速seo排名贰金手指花总30seo自然排名优缺点seo最好的源码网站运营undefined乐云seo品牌达内seo网络课程SEO助手赚钱百度快速收录搜行者SEO秦皇岛市seo报价东莞网站建设杓行者seo05seo排名优化论文整合营销技术推荐乐云seo网络seo点来上海百首网络百科是SEO的内容吗seo首页优化zq云速捷丷转载文章加来源吗对seoSEO网站具备哪些佛山seo外包鄣行者seo08端谨丧泳枯抄慎杜选远史懂数瞎楼那交馅躬齿晓泻配桑甚弹元饲湾回滴扁指柳字巧考览拍访尿拍济佣塘阀城伏岸际错货轨易忍登锻返投贼况智志屑摇勒脚霜肠株秩述纺呢堵蜜抗伤途保探纽客吞效床鼻令哥猾辱胜绞恳峰捐耗衣挡哗懂坟左絮队购肉购缺捷分至葡武骨锐魔催侵畜畅旱摆体泻艰驾仆饺珠绢丰删压矮为迫店询gB3c。超具体robots.txt大全和禁止目录收录及指定页面。seo需要提供什么,牛津小马哥SEO教程,seo可以创业吗
上一篇：百度搜索关键词排名七秘诀
如果您觉得 超具体robots.txt大全和禁止目录收录及指定页面 这篇文章对您有用，请分享给您的好友，谢谢!
