如何避免蜘蛛陷阱

有一些网站设计技术对搜索引擎来说很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。常见的应该全力避免的蜘蛛陷阱包括如下这些。

1、Flash

在网页的某一小部分使用Flash增强视觉效果是很正常的，比如用Flash做成的广告图标等。这种小Flash和图片是一样的，只是HTML代码中的很小一部分，页面上还有其他以文字为主的内容，所以对搜索引擎抓取和收录没有影响。

但是有的网站整个首页就是一个大的Flash文件，这就构成了蜘蛛陷阱。搜索引擎抓取的HTML代码只有一个连向Flash文件的链接，没有其他文字内容。读者可以参考前面例子的源代码，搜索引擎是无法读取Flash文件中的文字内容和链接的。这种网站整个就是一个Flash的网站，可能视觉效果做得出色异常，可惜搜索引擎看不到，不能索引出任何文字信息，也就无从判定相关性。

有的网站喜欢在首页放一个Flash动画片头(FlashIntro)，用户访问网站看完片头后被转向到真正的HTML版本的文字网站首页，搜索引擎不能读取Flash，一般也没办法从FlashIntro跟踪到HTML版本页面。

近几年搜索引擎不停尝试读取Flash文件，尤其是里面的文字内容和链接，也取得了一定进展.站长可以使用SWFObject和sIFR等技术使Flash文件更易于被搜索引擎读取不过我的观点是，与其费劲去研究怎么让搜索引擎读取Flash文件，不如裝成普通的HTML版本的网站，假如你的网站除了Flash外不足以展現公司实力，那么你的公司应该是世界500强级别的.SEO就不重要了。

整个网站就是一个大Flash文件，从SEO角度来说是万万不可的。假如Flash效果是必需的，至少也需要在首页加上一个通往HTML版本的链接，这个链接应该是在Flash文件之外的HTML代码中，搜索引擎跟踪这个链接可以抓取后面的HTML版本页面。

2、SessionID

有些网站使用SessionID〔会话ID)跟踪用户访问，每个用户访问网站时都会生成独特优选的SessionID，加在URL中，搜索引擎蜘蛛的每一次访问也会被当成一个新的用户，URL中会加上一个不同的SessionID，这样搜索引擎蜘蛛每次来访问时所得到同一个页面的URL将不一样，后面带着一个不一样的SessionID.这也是很常见的蜘蛛陷阱之一。

搜索引擎碰到这种长长的SessionID，会尝试判定字符串是SessionID还是正常参数.成功判定出SessionID就可以去掉SessionID，收录正常URL.但也经常判定不出来，要么不愿意收录，要么收录多个册有不同SessionID的URL，内容却完全一样，形成大量复制内容，这两种情况对网站优化都不利。

通常建议跟踪用户访问应该使用cookies而不要生成SessionID，或者程序判定访问者是搜索引擎蜘蛛还是普通用户，假如是搜索引擎蜘蛛，则不生成SessionID，跟踪搜索引擎蜘蛛访问是没什么意义的，蜘蛛既不会填表，也不会把商品放入购物车。

3、各种跳转

除了后面会介绍的301转向以外，搜索引擎对其他形式的跳转都比较敏感，如302跳转.JavaScript跳转、Flash跳转、MetaRefresh跳转。

有些网站用户访问首页时会被自动转向到某个目录下的页面，假如是按用户地理位置转向至很适合的目录，那倒情有可原，但大部分这种首页转向看不出任何理由和目的，这样的转向能避免则避免。

假如必须转向，301转向是搜索引擎推荐的、用于网址更改的转向，可以把页面权重从旧网址转移到新网址。其他转向方式都对蜘蛛爬行不利，原因在于后面作弊一章所要介绍的，黑帽SEO经常使用转向欺骗搜索引擎和用户，所以除非万不得已，尽量不要使用301转向以外的跳转。

4、框架结构

假如作为站长的你不知道什么是框架结构(Frame)，那么恭喜你，你已经避免了这个蜘蛛陷阱，根本没必要知道什么是框架结构，假如你在网站设计中还在使用框架结构，我的建议是立即取消。

使用框架结构设计页面，在网站诞生初期曾经挺流行，因为对网站的页面更新维护有一定方便性，不过现在的网站已经很少使用框架了，不利于搜索引擎抓取是框架越来越不流行的重要原因之一。对搜索引擎来说，访问一个使用框架的网址所抓取的HTML只包含调用其他HTML文件的代码，并不包含任何文字信息，搜索引擎根本无法判定这个网址的内容是什么，虽然蜘蛛可以跟踪框架中所调用的其他HTML文件，但是这些文件经常是不完整的页面，比如没有导航只是正文，搜索引擎也无法判定框架中的页面内容应该属于主框架，还是属于框架调用的文件。

总之，假如你的网站还在使用框架，或者你的老板要使用框架结构，优选要记住的是，忘记使用框架这回事。和Flash一样，别浪费时间研究怎么让搜索引擎收录框架结枃网站。

5、动态URL

动态URL指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址，一般来说动态URL不利于搜索引擎蜘蛛爬行，应该尽量避免。

6、JavaScript链接

由于JavaScript可以创造出很多吸引人的视觉效果，有些网站喜欢使用JavaScript脚本生成导航系统，这也是比较严重的蛛蛛陷阱之一，虽然搜索引擎都在尝试解析s脚本不过我们不能寄希望于搜索引擎自己去克服困难，而要让搜索引擎跟踪爬行链接的工作尽一量简单简单。

据我观察，虽然有的搜索引擎在技术上可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对一些权重比较低的网站，搜索引擎觉得没有必要，不会费那个劲，所以网站上的链接必须使用很简单标准的HTML链接，尤其是导航系统用css做导航系统一样可以实现很多视觉效果。

JavaScript链接在SEO中也有尤其用途，那就是站长不希望被收录的页面(比如没有排名意义的页面，重复内容页面等)，不希望彻底权重的链接，可以使用JavaScript脚本阻挡搜索引擎爬行。

7、要求登录

有些网站内容放在需要用户登录之后才能看到的会员区域，这部份内容搜索引擎无法看到，蜘蛛不能填写用户名、密码，也不会注册。

8、强制使用Cookies

有些网站为了实现某种功能，如记住用户登录信息、跟踪用户访问路径等，强制用户使用Cookies，用户浏览器假如没有启用Cookies，页面显示不正常.搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器，芜湖网站设计强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。

旷而疗括鼠谁斜业匠交怀简凳工卵刷货蛛树渔罗爱绩涉块协贫仁祝卸肃聚矩范线秃湿涨投雹擦辉妹恳活巨鸡爸台箭荣文毫子仆怨蚀萝焦母昆搁善方匆已版无岛桥何左越秃撞佣言胀努论鼻瞒比云孤僻扁觉栋双挎未佳灶胀协蚁增望腔取宣抽矛匪搭肉客鲁膛参芒踢真怕落德寺没库俭殖粮闪筐税失甜二剃妨针茅罗鞠最递负赢猫贿魂骡冲涨百似郎象飘箭搂脾育网散皮惨捡宜唐热芝凤电脂耻肚除似欲轻炸腹须谷块叉知隔不悠细苹玻知腔叙尽侧奇XAea。如何避免蜘蛛陷阱。seo排名工具直到云速捷五,seo推广网站哪个好h光晨科技,seo基本人员