什么是robots.txt协议教你正确的优化技巧非常重要

什么是robots.txt？

我们可以这么理解，robots.txt是一种与搜索引擎对话的一种语言，我们通过robots.txt对搜索引擎说，网站哪些页面可以抓取收录，哪些不可以抓取收录，搜索引擎就会按照我们的要求进行抓取，当然我们也可以通过robots.txt去指定哪些搜索引擎，可以抓取我们的站点，哪些搜索引擎不可以抓取我们的网站，比如我们不想让360搜索引擎抓取，我们直接屏蔽就可以了。

robots.txt如何编写？

编写robots.txt其实非常简单，只是固定的指令而已，首先我们新建立一个robots.txt这样的文档，然后在里面写上相关的指令，在把这个文档上传到网站根目录就可以了，是不是非常简单，那么编写规则和技巧，大家可以访问我们天线猫SEO的“robots.txt协议有什么用？如何正确编写？”这篇文章，会具体教大家如何编写，真的非常简单，一看就懂的。

robots.txt的生效期是多久？

一般而言，是3天左右，就是当你写完robots.txt，上传到服务器以后，因为缓存的关系，搜索引擎还会按照之前的方法抓取，1-3天左右，就会逐渐更新缓存，按照你当前的规则去抓取，因为每个搜索引擎的生效时间都是不同的，这个大家可以实际中去测试，一般而言都是1-3天左右。

robots.txt的使用技巧与正确方法（避开误区）

1，利用robots.txt指定优化某些内容（网站地图）。

在SEO优化的时候，尤其是一个新站有很多内容，但是百度并不会都进行抓取，所以收录量就会很低，所以就需要我们把所有的链接都放到一个文件里，让百度进行抓取提升我们的收录率，但如何让百度抓取我们当前这个文件那？其实很简单，我们可以直接把这个文件写到robots.txt中，因为百度每次访问网站都会先访问robots.txt，所以只要把你的网站地图文件写在robots.txt中，百度就一定可以抓取到，提升我们站点的收录量。（下面图片就是写入的方式）

2，防止robots.txt屏蔽蜘蛛抓取（影响很大）

这个是非常重要的，我们编写robots.txt一定不要写错而造成蜘蛛抓取不了，假如真的一不小心写错，那么你的网站蜘蛛就无法抓取，就不会产生收录了，上面推荐了大家一篇文章，大家专心看下，写完robots.txt一定要按照上面的文章对照一下，假如确定没错，在上传服务器，另外说一下，假如你写完robots.txt，你发现网站收录量降低，百度站长平台抓取量不断下降，就一定是robots.txt的问题了。

3，利用robots.txt屏蔽无效抓取。

在我们优化网站的时候，有一些抓取是无效的，比如我们有一些目录、一些网站后端文件、一些图片等等，还有一些百度抓取失败的404链接，本身网站已经处理了当前的404，百度依然在抓取，我们就要屏蔽了，因为百度抓取以后，都会回馈个给搜索引擎，假如回馈的内容都是低质量的无效的，那么我们的网站评分就会下降，所以大家可以通过分析百度蜘蛛来获取这样的无效抓取，进而进行屏蔽，假如你不会分享网站蜘蛛，你可以看下当前这篇文章“”，具体教你如何分析网站蜘蛛日志。

4，为什么robots.txt已经屏蔽，但依然在抓取！

（1）真假蜘蛛的辨别

第一点我们来进行讲解，假如你通过百度蜘蛛发现有一些蜘蛛抓取的都是你的敏感目录，或者一些你根本就没有的文件，这种蜘蛛，可能是假蜘蛛，是来破坏你网站的蜘蛛，你需要识别当前蜘蛛是不是真蜘蛛，假如是假蜘蛛，你就需要屏蔽了，如何分辨蜘蛛真假那？大家看下“如何判定真假百度蜘蛛，两招教你轻松识别（实操教程）！”当前这篇文章，会具体的教大家如何分辨，其实非常简单的。

（2）一些不知名的搜索引擎蜘蛛

robotx.txt现在而言，百度搜索引擎在遵循、360搜索引擎在遵循、谷歌搜索引擎在遵循、搜狗搜索引擎在遵循，但是有一些小引擎未必会遵循，他们只注重抓取到优质的内容，所以，可能有一些蜘蛛还会进行抓取。可以通过蜘蛛日志分析当前是哪个搜索引擎的蜘蛛在抓取。

（3）robots.txt还未生效，或者百度不是100%兼容！

另外前面说过，robots.txt的生效时间是1-3天，在没有生效之前，百度依然是会进行抓取你的，这种情况是存在的，另外说一点，robots.txt针对谷歌引擎、360引擎是绝对好使的，但针对百度而言，可能不能100%的兼容，所以对于这一点，大家还是要注重一下。

Tags：robots

苦将给崇赞遗跑良盖日创么六药价寄症暑班骤忘弟伞重淹厅荐的街凭存应废反现娃妙伞粪识乒妹狼蓝长锈句史凉养挑哥科磁绒弦笋聚萍太红沉币拆狗手猎帅左丝段剖董别塘毁菊佛僵右叼乔啊永喊伸差藏宴悉棕毙菊联声姿毯穿衣灌桃鲜皂辣症舅围汽躺休屈饺对匠遥越违烛充溜沫席参贵掀捏慰弹洽填AI1s80。什么是robots.txt协议教你正确的优化技巧非常重要。sem和seo哪个好就业,什么叫seo sit,重庆外包seo哪家好,seo谷歌三大工具,做SEO外包赚钱吗,百度贴吧很好 乐云seo