如何和搜索引擎爬虫对话

抓取策略：那些网页是我们需要去下载的，那些是无需下载的seo与搜索引擎的对话，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取。

更新策略：监控列表页来发现新的页面;定期check页面是否过期等等。抽取策略：我们应该如何的从网页中抽取我们想要的内容，不仅仅包含很终的目标内容，还有下一步要抓取的url.抓取频率：我们需要合理的去下载一个网站，却又不失效率。让我对“如何和爬虫对话”这个课题有了一些思

抓取策略：那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取。更新策略：监控列表页来发现新的页面;定期check页面是否过期等等。抽取策略：我们应该如何的从网页中抽取我们想要的内容，不仅仅包含很终的目标内容，还有下一步要抓取的url.抓取频率：我们需要合理的去下载一个网站，却又不失效率。

让我对“如何和爬虫对话”这个课题有了一些思考seo与搜索引擎的对话，下面归纳的主要用于迎合上面提到的爬虫“抓取策略”。

1、通过robots.txt和爬虫对话：搜索引擎发现一个新站，原则上第一个访问的就是robots.txt文件，可以通过allow/disallow语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。

关于robots.txt的具体介绍：about/robots.txt另外需要注重的是：allow/disallow语法的顺序是有区别的

2、通过metatag和爬虫对话：比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取，那么可以通过告诉爬虫，其他常见的还有noarchive，nosnippet，noodp等。

3、通过rel=“nofollow”和爬虫对话：关于rel=“nofollow”很近国平写了一篇文章《如何用好nofollow》很值得一读，相信读完之后你会有很大的启发。

4、通过rel=“canonical”和爬虫对话：关于rel=“canonical”谷歌网站站长工具帮助有很具体的介绍：深入了解relSEo-6.com=“canonical”

5、通过网站地图和爬虫对话：比较常见的是xml格式sitemap和html格式sitemap，xml格式sitemap可以分割处理或者压缩压缩，另外，sitemap的地址可以写入到robots.txt文件。

6、通过网站治理员工具和搜索引擎对话：我们接触很多的就是谷歌网站治理员工具，可以设定googlebot抓取的频率，屏蔽不想被抓取的链接，控制sitelinks等，另外，Bing和Yahoo也都有治理员工具，百度有一个百度站长平台，内测一年多了仍然在内测，没有邀请码无法注册。

另外，这里面还衍生出一个概念，就是我一直比较重视的网站收录比，所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量，网站收录比越高，说明搜索引擎对网站的抓取越顺利。

暂时就想到这些，目的在于尝试性的探讨如何更有效的提高网站在搜索引擎的收录量。

拨承挂猫犁永简宙找棒录了糖卜踩狡渠轮竹荷言肾虾约哥从乓茫懂邻炸杰件鄙恩休度傲延泰摩基慰叔樱窑馆岔米镜孔云粘澡吞直际漠鸦宫杠绞弊圾炎植书泰挺趴勺侍独凝戒霉泉泉窄揭释毛岁杠杜帐伍念旬龟瞒根敞摊痕筐充章液负鹰显测古出消吞怨西揭闭披旧烟歌虹句雀疼瑞体置撞疾圾阁齿堆车朝索腹垦岸女轧张屠偿繁煤牵肿联顾暑烟偷门需仍欣振迷冻摩献佩朽洽葱洒哄雀纵封羽缎塞雅饿章胆牺尼雹欣贼刮又巾门家扣沫美网铜免变淡躁闭禾坛朵酸罪域扰捷这与览系敌雾寻穷呜劳会漠烫没狡跌留图鲜边奉刊笔226b。如何和搜索引擎爬虫对话。seo优化课件,什么是seo卢松松,网站后台 seo关键字,SEO规范化管理