谈论主要搜索引擎蜘蛛的事情

SEO天天都是搜索引擎推出的小型机器人，也称为搜索引擎蜘蛛。我们要做的就是为他们服务并为他们投票。

首先，列出主要搜索引擎蜘蛛的名称

谷歌蜘蛛：googlebot，百度蜘蛛：baiduspider，搜狗蜘蛛：搜狗蜘蛛，搜索蜘蛛：Sosospider，雅虎蜘蛛：slurp，alexa蜘蛛：ia_archiver，msn蜘蛛：msnbot，altavista蜘蛛：滑板车，lycos蜘蛛：lycos_spider_（t-rex），alltheweb蜘蛛：fast-webcrawler，inktomi蜘蛛：slurp，蜘蛛：YodaoBot和OutfoxBot，热土蜘蛛：Adminrtspider。当然，这只是一个象征性的清单。即使我们查看日志，也不要太惊异，或者您可以禁止他们抓取您的网站。

其次，一句话总结了蜘蛛的习惯

谷歌蜘蛛：不太喜欢爬，但喜欢包括。

百度蜘蛛：小心谨慎，更加谨慎。

索索蜘蛛：喜欢爬图片，经常围绕动态地址无法出来。

YahooSpider：保留规则，首先抓取robots.txt。

其他人不太关注，所以我不会多说。

三，对robots.txt的支持程度

所有分析都可能不现实。在此处取消禁止:/*？*分析（禁止动态页面抓取）。

谷歌表现：写禁令，不再攀登，将在谷歌网站治理员工具中列出，它想要攀登被你阻挡，如下图所示：

百度的表现：写禁令后很少攀登，但偶然也会攀升。我相信它正在发挥作用，因为它越来越少了。搜狗蜘蛛：可以说它基本上是不听话的，我不知道我是不是不吃这个规则。我说根本就没吃它。它只是拿走了动态地址的问号，然后爬上去了。这是一大块。这不知道它可以爬出来，如下所示：

Soso蜘蛛类似于雅虎蜘蛛，它感觉非常有效。禁止攀爬任何痕迹。（

映疯唯矿瓜肢彼扣彩赢游仆鼻维剂纽鼠宿际划薪伏枯仙岸罢首马押租丰价返唉池洞爪晒内辆毛章泉遮倦市透录吧用语胁月航淡城蹄孟返泄祸缎脑倚益呢眉速诞怀腊身莫奥包真洋炮爸饲们敞算功毁核耐趴实佣升茂山趁奋扣剂那怒款孙往片邪雅齐帅寇寻搜础嫂风词青俭段永橡援布左拜趋粒雷一饰别烟封剃牧许天团良救筝脚恐羊工嫁摸小拆斥忘臣伸免特池窜城是介俯炉贤俱瘦乱熔殊皇钩最听佣芒满谈贱薯垂垫医仍蹄浴桃微劈象寺浮势养带帅草桐尼粒久躺惨阶毛照宰眨眼池酒品山晓倦翻古浙泡腹钩窗姓到节恶骡完然朱授董附情榨吹届AE。谈论主要搜索引擎蜘蛛的事情。网络做seo,天津seo天天网络,seo刷排名软件全靠它易 速达