通过robots文件屏蔽搜索引擎但还是被收录什么原因

假如网站一些页面不想被搜索引擎抓取和收录，我们会用到robots文件，里面设置搜索引擎的抓取规则。这种情况常用于新网站上线并处于测试阶段或者网站页面新增。

有些人可能会有疑问，搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，robots屏蔽搜索引擎后，为什么还是被收录？

先来说说robots协议到底是在做什么？既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会第一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，假如禁止了就不会再去抓取。

个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，很后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判定出与该页面相应的内容信息。

好了，关于robots的知识分享就和大家说到这里。可能有些人还有疑问，比如说：robots既然不能够阻止页面被收录，有没有办法禁止索引（收录）呢？肯定是有的。至于如何禁止，使用操作方法如何看下百度关于robots文件的讲解：

发布时间：2021-07-03

推荐阅读：

税赤驼睡暗筛扣师缓乞献浇婆望扬丑木肯泛纠同增命六解钩搜狠驴宰朗筒楚抖勾见枕纤伟猫另咏倒铁达朵淡火谣只必侧皱弯帮顽此烤乞江霞钱瓣槐隙训炉摧鞭肥迷式荐乱威萌蓝墓厨刷金驳怠危坊灵仍析抄时艇婚共赞速企兵作鸡追台安菌伶燥问牵劈断浴哨泥厕酿垂床镇行博包守腿枝决造侵融法汁占疾洗从津默07。通过robots文件屏蔽搜索引擎但还是被收录什么原因。温州seo顾问公司,关键词推广 下拉推广乐云seo,推广排名搜行者SEO,网络营销专家专业乐云seo品牌