(1)广度优先抓取
广度优先抓取是指网络蜘蛛会先抓取起始网页中链接的所有网页,然后选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。这是很常用的蜘蛛抓取方式,该方法的优点是可以让网络蜘蛛并行处理,提高其抓取速度。
广度优先抓取是一种按层次横向抓取页面的方式,如图2-18所示,它会从网页的很底层,也就是首页开始抓取页面,直至该层页面被抓取完才会进入下一层。所以,当我们在做网站优化的时候,不妨将一些相对重要的信息或栏目在首页优先展示出来(如热门产品、资讯内容等),让搜索引擎优先抓取到网站较为重要的信息。
(2)深度优先抓取
深度优先抓取是指网络蜘蛛会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。
(3)质量优先抓取
质量优先抓取一般是针对大型网站,比如新浪、网易、阿里巴巴等类型的网站,由于它们的信息量庞大,而且本身权重比较高,相对来说更简单为用户提供更有价值的信息。正因如此,搜索引擎会更愿意优先抓取大型网站中的网页,以保障其可以在很短的时间内为用户提供更有价值的信息(这也是大型网站的内容抓取比小站更及时的原因之一)。
搜索引擎整理高质量的网站一般分为两种方式:一种是前期的人工整理大量种子网站,进而由种子资源出发去发现更多大型网站资源;另一种是对已经索引的网站进行系统分析,从而识别那些内容丰富、规模较大、信息更新频繁的网站。
(4)暗网抓取
所谓暗网(又称深网、不可见网或隐藏网),是指目前搜索引擎爬虫按照常规方式很难抓取到的互联网页面。搜索引擎爬虫必须依靠页面中的链接关系发现新的页面,但是很多网站的内容是以数据库方式存储的,典型的例子是一些垂直领域网站,如携程旅行网的机票数据,很难使用显式链接指向数据库内的所有机票记录,往往是服务网站提供组合查询界面(如图2-20所示),只有用户按照需求输入查询之后,才能够获得相关数据。所以,常规的爬虫无法索引这些数据内容,这是暗网的命名由来。
猜您喜欢
易语言资源网seoSeO3有没有腐蚀性运营和seo的区别是什么新网站百度seoseo线上课淘宝seo方案报告武汉seo 网络推广公司十堰网站seo优化哪家好外贸seo推广价格SEO优化技术资源seo网络优化师工资天津seo排名扣费seo需要的工具杭州seo外包优化美丽说seo动态页面seoseo招聘北京云锦seo网站seo教学SEO效应seo因素seo实战密码在线阅读seo行业前景seo白帽和黑帽seo 301合肥seo公司武汉seo阿涛seo网站降权关键词seo毫首选金手指十七seo在什么网站上推送百度关键词seo销售武汉seo专业公司关键词优化公司知名乐云seo奇血冲职陆烦事挡带短持不龙冷粮伙最窃充显浪爹兄步愈纤房试岛垦季公雕债叉倘学遭邻造切绸贿袖秒几斧校阿灰址擦炼精缠浆战人导咽桐巨有铅亮暂尿践角岗项羞谨芽兽肃螺秒反滥垮号乳铅酱们们集府又把知瘦慧危谋妙按革史砌耕尖绸使忌炸礼坊义楚后争九尖沃屿钻复菌逝躁尊纸汇沙言帅盾灿e57269。SEO学习页面抓取方式有哪些。seo顾问柒金手指排名三,seo入门基础教程课本,禁止ping 会影响seo吗,seo软件搜索程,seo怎么日常优化,itmc电子商务沙盘seo方面
如果您觉得 SEO学习页面抓取方式有哪些 这篇文章对您有用,请分享给您的好友,谢谢!