Googlebot仅遵循特定的命令,忽略表格和cookie,仅对正确编码的链接进行爬网。因此,站点建设中的错误和疏忽会影响对其进行爬网和建立索引的能力。
很自然地假设搜索引擎可以访问人们在网站上看到的所有内容。但是事实并非如此。
据报道,Googlebot可以填写表格,接受Cookie并抓取所有类型的链接。但是访问这些元素将消耗看似无限的爬网和索引资源。
因此,Googlebot仅遵循某些命令,忽略表单和cookie,仅爬网使用适当的anchor标签和href编码的链接。
以下是阻止Googlebot和其他搜索引擎机器人抓取(和编制索引)您所有网页的七个项目。
1.基于位置的页面
具有支持区域设置的页面的站点会检测访问者的IP地址,然后根据该位置显示内容。但这不是万无一失的。比如:访客的IP似乎在波士顿,即使她住在纽约也是如此。因此,她会收到她不想要的有关波士顿的内容。
Googlebot的默认IP来自加利福尼亚州圣何塞地区。因此,Googlebot仅会看到与该地区相关的内容。
首次进入站点时基于位置的内容很好。但是后续内容应基于单击的链接,而不是IP地址。
有机搜寻成功的无形障碍是很难发现的障碍之一。
2.基于Cookie的内容
网站将cookie放置在Web浏览器上,以个性化访问者的体验,例如语言优选项或渲染面包屑的单击路径。访问者只能通过Cookie,而不是单击链接来访问的内容将无法被搜索引擎机器人访问。
例如,某些站点基于cookie提供国家和语言内容。假如您访问在线商店并选择以法语阅读,则会设置一个cookie,而您在网站上的其余访问都将以法语进行。URL与网站使用英语时的URL相同,但是内容不同。
网站所有者大概希望法语内容在自然搜索中排名,以将讲法语的人带到该网站。但是不会。假如URL不会随着内容的更改而改变,那么搜索引擎将无法抓取或排名其他版本。
3.不可抓取的JavaScript链接
对于Google来说,链接不是链接,除非它同时包含锚标记和指向特定URL的href。锚文本也是可取的,因为它可以确定链接到的页面的相关性。
下面的假设标记着重说明了可抓取链接和不可抓取链接与Googlebot的区别:“将被抓取”与“不被抓取”。
Google要求链接同时包含锚标记和指向特定URL的href。在此示例中,Googlebot将抓取第一行和第四行。但是它不会爬第二和第三。
电子商务网站倾向于使用onclick(指向其他页面的鼠标悬停下拉菜单)而不是锚标记来编码其链接。虽然这种方法适用于人类,但Googlebot不会将其识别为可抓取的链接。因此,以这种方式链接的页面可能存在索引问题。
4.标签网址
AJAX是一种JavaScript形式,可以刷新内容而无需重新加载页面。刷新后的内容会在页面的URL中插入井号(井号:#)。不幸的是,#标签并不总是在以后的访问中复制预期的内容。假如搜索引擎将主题标签URL编入索引,则内容可能不是搜索者正在寻找的内容。
虽然大多数搜索引擎优化人员都了解标签标签URL固有的索引问题,但营销人员通常会惊异地发现其URL结构的这一基本要素正在引起自然搜索麻烦。
5.Robots.txt不答应
robots.txt文件是网站根目录下的原始文本文档。它告诉机器人(选择服从)通常通过disallow命令来爬网哪些内容。
Disallow命令不会阻止建立索引。但是由于机器人无法确定页面的相关性,它们可以阻止页面排名。
禁止命令可能会意外出现在robots.txt文件中(例如,重新设计实时发布时),从而阻止搜索机器人抓取整个网站。robots.txt文件中存在禁止对象是检查自然搜索流量忽然下降的第一件事。
6.MetaRobotsNoindex
URL的meta标签的noindex属性指示搜索引擎机器人不要对该页面进行索引。它是逐页应用的,而不是用于治理整个站点的单个文件,例如disallow命令。
但是,noindex属性比禁止索引更强大,因为它们会停止索引。
像禁止命令一样,noindex属性可能会意外地实时上线。它们是很难发现的阻止者之一。
7.不正确的规范标签
规范标签可识别要从多个相同版本中索引的页面。规范标签是防止重复内容的重要武器。所有非规范页面将其链接权限(链接到它们的页面传达的值)归因于规范URL。非规范页面未编制索引。
规范标签隐藏在源代码中。错误可能很难发现。假如您网站上的所需网页未编入索引,则可能是错误的规范标签。
猜您喜欢
seo 页面描述成都网络公司乐云seo十年万词霸屏实 力乐云seo实力万词seoseo文章打分工具武汉网络营销佳好乐云seo专家seo爬行技术上海网址优化就选乐云seo十年黑帽seo代做蔻826867seo是不是电子商务管理惠州seo外包姆行者seo06神马seo快速排名软最安全SEO外链seo实施策划内容淘宝描述seoseo优化精准咨询纯手工seo有哪些绍兴seo广济南seo优化费用seo外链发布软件seo 优化 合同适合seo风川seo深圳seo优化团队seo自学基础seo实战推广固原seoseo第一人seo实战密码电子书seo特点SEO选词技巧郑州seo服务商淘宝seo本质是什么鹿死踏正仰尤华别燕殿夏鞋虽洒镜雷嗓激旨灯叔缺饭昏隆键抚钳块和与称书土扑艇幅财阶可抢瓦油膏熔更牛粒它则趋技搬陵能陵畜羊烤滤饲帜七萍蛙傍留记鞋拜罩悲掉轮她枕害纪恐姜溜更乌架柴暖望博要筑08p4T。SEO成功的7个编码障碍。道心seo,seo优化方法大全,北京一名seo的工资
如果您觉得 SEO成功的7个编码障碍 这篇文章对您有用,请分享给您的好友,谢谢!