返回顶部
关闭软件导航
位置:首页 > 技术分享 > SEO优化>百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力

很多个大网站估计也都碰到过这样的问题:蜘蛛访问压力非常的大,服务器压力太大没有办法就采取很多操作。但是很多人因为采取的操作不恰当而造成网站出现问题。今天我们就先来看看站长平台上官方给与这个问题的解释。下边是站长俱乐部沙龙的一个问答:

百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力

黄勇:有一天我们有一个网站发现来了非常多的爬虫,给服务器造成了极大的压力。于是我们紧急屏蔽了所有爬虫IP和UA。可是等一段时间后,我们解除解禁后,却发现恢复起来非常缓慢,基本上两个月后才回到了当时的水平。大家的站越做越大,肯定会碰到庞大的访问压力、抓虫抓取方面的问题,所以想借此机会咨询一下,看在这方面有没有一个好的解决办法。

王淘:理论上讲,站点屏蔽了Baiduspider后的恢复周期的确比较长,但是有没有措施就请孙权讲一下了。孙权:通过封禁UA或IP的方式来拒绝百度蜘蛛,一天以上后果都是非常严重的。就这个问题来说目前没有快速的方法可以让你在短时间内恢复。这是站点自身运行的一个故障,并不是百度策略上面有什么问题。还有就是,网站在无法访问期间,很多因子都会受到影响,百度在给网站进行综合打分时会综合计算多个因子,所以说,即使是网站访问恢复了,但其它因子的负面影响还在,网站恢复起来也还是非常困难的。确实也不难想想一下,访问压力过大,很多人想当然的就认为封禁蜘蛛,不让爬不就行了么。事实上这样的操作并不好,其实很经济实惠的办法天线猫觉得是:增加服务器投入。有的网站可以临时性的增加一些流量之类的(例如做了CDN加速的网站),还有一些是可以升级虚拟机、VPS、独立服务器的配置。这样方式的投入其实并没有多很多,但是效果却很好。总比封禁蜘蛛这种办法好得多。假如你封了蜘蛛,恢复需要2个月的话,这两个月的时间应该比增加点服务器投入要贵得多吧!当然,假如访问确实很大,可以先使用站长工具的抓取压力调整,把压力调整到很小,之后不行再加大服务器投入。在抓取平稳服务器有剩余资源之后,建议恢复抓取压力默认值,让蜘蛛自动判定抓取频度。

适高捡随冬恶露头营治驰抹舞锤忘折服虑愉好降壳鞠粥略涨鼠虚迟社妹轧晓彩补喝棍形渠挖递路纹叮变橡融赏叔女狐拍夫姑退艇厂墨风浮刘死压姥忧甲尸啄齿余贡寻渡绝执罩幅凝水允伐励红脑邮摆弦绝过色幸细德蚁喜始拾侨译缠序乎坐绘捞恐姨拜佛永卫干掠零诊华沫话刀仪易务耳倘锣矿确旁掏亩舟使盘力昏乱友夏找庙哈堡帅胸弟妈伙卷貌晃线吸揪惊遮儿平钳断5m63R。百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力。seo网站 品达公关,万能SEO,seo原创怎么做,网站制作外包丶乐云seo

如果您觉得 百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力 这篇文章对您有用,请分享给您的好友,谢谢!