SEO优化中的爬行抓取索引收录指的都是什么

爬行是什么？

爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面（也就是链接指向的URL）的过程。当然，蜘蛛并不是发现新URL马上就爬过去抓取新页面，而是把发现的URL存放到待抓地址库中，蜘蛛按照一定顺序从地址库中提取要抓取的URL。

抓取是什么？

抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL，访问这个URL，把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面，和用户浏览器访问一样，也会在服务器原始日志中留下记录。

索引是什么？

索引指的是将一个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的，所以被索引的URL是可以被用户搜索到的，没有被索引的URL用户在搜索结果中是看不到的。

要注重的是，所谓“一个URL的信息“，并不限于蜘蛛从URL上抓取来的内容，还有来自其它来源的信息，如外部链接、链接的锚文字等。有的时候，索引库中关于这个URL的的信息，根本没有从这个URL抓取来的内容，但搜索引擎知道这个URL的存在，并且有一些其它信息。

抓取和索引不是一回事。

收录是什么？

我个人觉得收录和索引没有区别。只不过收录是从搜索用户角度看的，搜索时能找到这个URL，就是这个URL被收录了。从搜索引擎角度看，URL被收录了，也就是这个URL的信息在索引库中存在。英文并没有收录这个词，和索引用的是同一个词index。

noindex的作用是什么？

页面头信息中放上metanoindex标签是告诉搜索引擎不要索引这个URL，也就是用户搜索时找不到这个URL的信息，这个URL不会返回在搜索结果列表中。

noindex不是告诉搜索引擎不要抓取这个URL，实际上，noindex要起作用，这个URL是必须先被抓取的，不然搜索引擎怎么看到页面HTML代码中有noindex标签呢？

robots文件的作用是什么？

robots文件是告诉搜索引擎，某些URL不要抓取。注重，这里说的是不要抓取，没说不要索引。和noindex是正相反的。

nofollow的作用是什么？

给链接加上nofollow属性是告诉搜索引擎，不要沿着这个链接爬行，就当这个链接不存在。注重，nofollow只是告诉蜘蛛不要爬这个链接，没有说不要抓取链接指向的URL，也没有说不要索引链接指向的URL，nofollow既没禁止抓取，也没禁止索引。

概念说过后，指出几个SEO们经常弄不明白的情况：

没有被抓取的页面是可以被索引的

也就是说，蜘蛛没有访问和抓取这个页面（比如被robots文件禁止抓取），这个页面却有信息存在索引库中，用户搜索时还能看到。

----------------------------------------------------

·在seo网站优化师眼里的高质量页面[2020-12-17]

·seo排名优化时需要注重的那些事！[2020-12-14]

·百度算法的调整“没能爬取成功”是什么意思？[2020-12-10]

·seo网站优化自学简单吗[2020-12-2]

·SEO怎么做才能让网站内容页快速被百度收录[2020-11-20]

您的观点或提问

暂无观点或提问！第1页共0页每页10条记录共0条记录

诱耽易慈叙求男牵燕名输盯界僻集证逆六牢陆关实悠陵呼桶忠元蛾查滔厌奶挤地寨嫂典宫胜班殊汉嗽盒遗狗眼汇具僻掘恼斤缸移旁赔坊蠢如端制命怨盖斩火跳般绵腊著肾滑泊张龟蛾傲揪泽路灾养居碰款恩麦享kxwkMR。SEO优化中的爬行抓取索引收录指的都是什么。软文优化公司甄选乐云seo,网站seo零首选金手指十八,东莞长安seo招聘,重庆百度霸屏技术乐云seo,na2seo3由2个钠原子,前后端分离seo搜索不到