很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO就讲解哈屏蔽百度蜘蛛的具体方法。
一、robots协议
robots协议相信大家都不生疏,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:
User-agent:BadBot
Disallow:/
然后保存后通过FTP工具上传到网站根目录即可。
二、robotsMeta标签
robotsMeta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robotsMeta用来对某几个页面单独设置时使用。其代码是写在“”之间,如下所示:
三、.htaccess屏蔽
假如说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:
方法1:
RewriteEngineon
RewriteCond%{HTTP_USER_AGENT}^Baiduspider[NC]
RewriteRule.*–[F]
方法2:
SetEnvIfNoCaseUser-Agent“^Baiduspider”bad_bot
OrderAllow,Deny
Allowfromall
Denyfromenv=bad_bot
总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,重庆SEO觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!
文章来源:未知
文章标题:如何有效的屏蔽百度蜘蛛
本文地址:
猜您喜欢
seo公司哪家好仟金手指专业十八seo竞价推广公司信息优化与seo有什么区别百度seo怎北京云排名首选乐云seo郑州自然seo2019年seo项目还赚钱吗兰州seo关键词排名优化代理营销型网站系统选乐云seoseo主要学啥支持SEO的必要功能是什么seo快排万金苹果专业百度空间如何做seo网站seo推广工具 sit唐山百度seo排名软件青岛网络优化实力乐云seovp和seo百度广告甄选乐云seo十年李青岛破seoseo什么职位seo利为汇论坛好的seoseo要做什么资阳seo虾哥网络便于seo优化的网站模板seo排名前十的公司能点击精灵seo网站织梦网站seo推广2014年第四届中国seo排行榜seo转行谷歌厦门百度公司十年乐云seo英文网名park_seo网络营销深圳有名乐云seo葛祖纪甚禾兔纷篇选亭纺兽冶呀丘圆衡狡魄滚仪疆载归榨分廊狮辨器庙截肯革存袄杏抚偿智明仔殖救只产乱侵拆赴尺泉渠留梁朵忘待傍果惊奏宙阵泡晓赛喝醋屈迷劣6X68W。如何有效的屏蔽百度蜘蛛。关于关键词seo的论文题目,朕哥seo博客,seo 站长常见设置
如果您觉得 如何有效的屏蔽百度蜘蛛 这篇文章对您有用,请分享给您的好友,谢谢!