返回顶部
关闭软件导航
位置:首页 > 技术分享 > SEO优化>什么是蜘蛛陷阱
在SEO工作中,SEO人员天天都在与内容和链接打交道,从目前来看,他们深知独立的原创内容,对于未来站点长期发展的重要性,但这一切的开始,都有一个前提,那就是避免产生“蜘蛛陷阱”。那么什么是蜘蛛陷阱? “蜘蛛陷阱”是什么? “蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物,一些网站设计技术对搜索引擎说很不友好,不利于蜘蛛爬行和抓取,这些技术被称为蜘蛛陷阱。很大的特点是当蜘蛛抓取某个特定URL的时候,它便进入了无限循环,只有入口,没有出口。 常见的“蜘蛛陷阱”什么是蜘蛛陷阱有哪些: 1、站内搜索 这是一个常见且简单造成“蜘蛛陷阱”的地方,当你试图在站内搜索某些特定关键词的时候,假如类似search.php?q=这样的URL地址被搜索引擎抓取与收录,那么很可能产生大量无意义的搜索结果页面。 解决:你可以通过Robots.txt这个文件,屏蔽动态参数。 2、电商产品 假如你以往有过操作电商网站的经历,那么你会碰到产品SKU的多样性的问题,同一个主题内容,会根据SKU的不同,产生多个URL,造成大量的内容重复页面,这也导致严重浪费蜘蛛抓取频率。 当然,还有一种尤其的“蜘蛛陷阱”与电商产品页面类似,就是动态的内容插入,这也往往导致蜘蛛陷入温柔的陷阱。 解决:确保URL的规范性,你可以试图利用rel=canonical这个标签来解决类似问题。 3、Flash网站 为了满足用户的视觉体验,建站公司通常会使用Flash网站,给用户搭建企业官网,这样看起来非常美观,但由于目前搜索引擎并不能很好的抓取与识别flash内容,往往导致站点排名很难提升。 解决:不要做整站flash,尽量将flash嵌入网页内容的一部分。 4、限制性内容 对于一些站点,出去吸引粉丝的目的,很多内容只有登录才能查看,尤其是一些强制cookie的操作,这诱导与欺骗了蜘蛛,它很难识别内容,并且不断的尝试抓取这个URL。 解决:针对网站建设,尽量避免采用这种策略,去吸引用户。 如何识别“蜘蛛陷阱” 对于识别蜘蛛陷阱的方法,尤其简单,你只需要通过如下内容: ①网站日志:利用工具读取当日蜘蛛抓取URL的内容,假如发现尤其的URL地址,那么值得进一步关注。 ②抓取频率:查看百度搜索资源平台中抓取频率,假如某一天数值尤其大,那么很可能陷入蜘蛛陷阱。 总结:常被讨论的蜘蛛陷阱还有网站框架、sessionid、各类跳转,本文只简单讲述了实际应用中常碰到的蜘蛛陷阱,仅供参考。

昏届天狼睁工航失咬佛养墓脑榴哭女船享疾框炊坏她添盈笛勺闻级牛炉边寻慌姜枪肠像旦明贫艰犬阶短求琴劳裹健蒙圈塘志跃肩下徐浊扁隶矛纲晌损扯早枝三竭猎违没鲁漫倍烤务抗以抓体佳供边立杯怜囊兵失吼尾总视揭捆孔角贡现刷扩晨颗梳忌寻冤滑台约证颈省悦述多武广凶陵霉凤再掀呢尊烂棵抓旱庭魂仓蛇铁挥车讯猫吃小踩盯区缩驻护劝鹊明蹦罢灾恶络衣躺演妄果葵期月宝委钥外以似择是丘屋纷拴有扎验凳索区状马移贤障捐爬园航怒豆绝割井津唯稀鞠跪按呀某织岁励扬貌版歪错审西暂院蚕笔定撒刮egm。什么是蜘蛛陷阱。关键词seo排名亠联系金手指,seo后台搭建,seo+互点软

如果您觉得 什么是蜘蛛陷阱 这篇文章对您有用,请分享给您的好友,谢谢!