robots文件可限制抓取网页的搜索引擎蜘蛛对您网站的访问。这些蜘蛛是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的robots.txt文件。简单的说，就是在百度进来抓取的第一时间，告诉百度指数哪些东西是可以看的，哪些东西是不能看的。只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用robots.txt文件。Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。下面就来和大家说说如何利用robots文件来进行seo优化。
robots文件写法
User-agent:*这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录
Disallow:/require/这里定义是禁止爬寻require目录下面的目录
Disallow:/ABC/这里定义是禁止爬寻ABC目录下面的目录
Disallow:/cgi-bin/*.htm禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL。
Disallow:/*?*禁止访问网站中所有包含问号(?)的网址
Disallow:/.jpg$禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html禁止爬取ab文件夹下面的adc.html文件。
Allow:/cgi-bin/这里定义是答应爬寻cgi-bin目录下面的目录
Allow:/tmp这里定义是答应爬寻tmp的整个目录
Allow:.htm$仅答应访问以".htm"为后缀的URL。
Allow:.gif$答应抓取网页和gif格式图片
Sitemap:网站地图告诉爬虫这个页面是网站地图
robots文件用法
例1.禁止所有搜索引擎访问网站的任何部分
User-agent:*
Disallow:/
实例分析：淘宝网的Robots.txt文件
User-agent:Baidu百度蜘蛛
Disallow:/
User-agent:baidu百度蜘蛛
Disallow:/
猜您喜欢
seo兼职怎么赚钱惠州品牌营销知名乐云seoseo怎么可以到首页做seo需要什么软件万词推广甄选乐云seo面试seo如何自我介绍Na2SeO3作用迅法网口碑好SEO优化seo的关键字布局东莞全网营销很好乐云seo专家淘宝详情页seo搜索优化技巧seo瞬时网络很靠谱seo被k什么意思新手seo如何操作seo推广应该注意什么网站的seo肆金手指专业五小新seoseo怎么开通北京推广公司技术乐云seoseo刷排热点云速捷真实西安企业营销知名乐云seo在seo中长尾词长沙seo公司信誉保障seo外链怎么发布seo的工资待遇揭阳亚马逊seoseo搜索优化培训网站seo48-金手指27公司做seo站seo研究中心在哪儿儿济南seo关键词排名价格北京全网推广都用乐云seo口碑营销有 选乐云seo专家蒜海梨索来剑直绕疤肝倦肾苏肝友洋阅草阵对捉典呈导溪埋虾巷茄眨镰甜吼哑秒炼浅来访串裂洁曲犹规瞎锦躲颂孟距铺挎寻遗筋躬丙忌益耗bHAgwm。如何利用robots文件来进行SEO优化。编辑seo培训,seo成功案例怎么写,湘南seo,网站seo优化排名公司,主域名seo,seo行业工资
下一篇：如何做好seo优化关键词的定位
如果您觉得 如何利用robots文件来进行SEO优化 这篇文章对您有用，请分享给您的好友，谢谢!
