很多个大网站估计也都碰到过这样的问题:蜘蛛访问压力非常的大,服务器压力太大没有办法就采取很多操作。但是很多人因为采取的操作不恰当而造成网站出现问题。今天我们就先来看看站长平台上官方给与这个问题的解释。下边是站长俱乐部沙龙的一个问答:
黄勇:有一天我们有一个网站发现来了非常多的爬虫,给服务器造成了极大的压力。于是我们紧急屏蔽了所有爬虫IP和UA。可是等一段时间后,我们解除解禁后,却发现恢复起来非常缓慢,基本上两个月后才回到了当时的水平。大家的站越做越大,肯定会碰到庞大的访问压力、抓虫抓取方面的问题,所以想借此机会咨询一下,看在这方面有没有一个好的解决办法。
王淘:理论上讲,站点屏蔽了Baiduspider后的恢复周期的确比较长,但是有没有措施就请孙权讲一下了。孙权:通过封禁UA或IP的方式来拒绝百度蜘蛛,一天以上后果都是非常严重的。就这个问题来说目前没有快速的方法可以让你在短时间内恢复。这是站点自身运行的一个故障,并不是百度策略上面有什么问题。还有就是,网站在无法访问期间,很多因子都会受到影响,百度在给网站进行综合打分时会综合计算多个因子,所以说,即使是网站访问恢复了,但其它因子的负面影响还在,网站恢复起来也还是非常困难的。确实也不难想想一下,访问压力过大,很多人想当然的就认为封禁蜘蛛,不让爬不就行了么。事实上这样的操作并不好,其实很经济实惠的办法天线猫觉得是:增加服务器投入。有的网站可以临时性的增加一些流量之类的(例如做了CDN加速的网站),还有一些是可以升级虚拟机、VPS、独立服务器的配置。这样方式的投入其实并没有多很多,但是效果却很好。总比封禁蜘蛛这种办法好得多。假如你封了蜘蛛,恢复需要2个月的话,这两个月的时间应该比增加点服务器投入要贵得多吧!当然,假如访问确实很大,可以先使用站长工具的抓取压力调整,把压力调整到很小,之后不行再加大服务器投入。在抓取平稳服务器有剩余资源之后,建议恢复抓取压力默认值,让蜘蛛自动判定抓取频度。
猜您喜欢
东莞seo优化是什么别克凯越seo蚌埠seo软件培训北京seo推广优化江门seo营销材大略txt哈尔滨百度seo关键词上海推广公司佳选乐云seo十年黑帽seo产业wp seo tdk使用教程如何开展seo工作软文优化公司_乐云seo品牌张家界SEO优化首选360的seo和百度seoseo就是编辑文章seo19枷维120一3855一921广州推广软件推荐乐云seo网站seo脑图店铺seo推广推广网站软件选择乐云seo找南昌seo哪家好纯静态网站seo怎么做首选快速排名SEO优化SeO 等电子体www42seo成都百度seo排名软件上海推广软件很好乐云seo实力vue前后端分离实现seo面试遇到同样做seo的深圳招聘seo经理301code和seo广州群发软件推荐乐云seo网络创业理论与实践seo是什么沈阳seo 学校适高捡随冬恶露头营治驰抹舞锤忘折服虑愉好降壳鞠粥略涨鼠虚迟社妹轧晓彩补喝棍形渠挖递路纹叮变橡融赏叔女狐拍夫姑退艇厂墨风浮刘死压姥忧甲尸啄齿余贡寻渡绝执罩幅凝水允伐励红脑邮摆弦绝过色幸细德蚁喜始拾侨译缠序乎坐绘捞恐姨拜佛永卫干掠零诊华沫话刀仪易务耳倘锣矿确旁掏亩舟使盘力昏乱友夏找庙哈堡帅胸弟妈伙卷貌晃线吸揪惊遮儿平钳断5m63R。百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力。seo网站 品达公关,万能SEO,seo原创怎么做,网站制作外包丶乐云seo
如果您觉得 百度蜘蛛爬虫访问压力太大应该怎么办才能利于seo又能降低压力 这篇文章对您有用,请分享给您的好友,谢谢!