“三百大战”让Robots协议从台前走向幕后,这个舶来品引爆了整个互联网世界。这个由荷兰籍网络工程师MartijnKoster在1994年首次提出的“Robots协议”,缘何被百度作为尚方宝剑,屡屡提及,又试图将其作为行业标准拿出来规范市场,甚至作为互联网法则来约束竞争对手?
原生Robots协议是网站指导爬虫的善意性提示文件,Robots协议作为一个TXT文件,是网站内容为了更有效率的被搜索引擎索引,而为爬虫做出提示,只用答应和不答应两种语句表示建议抓哪些内容,不建议抓哪些内容,所有这些提示性建议都是善意的,这种善意的提示一般会被爬虫接受。
然而,百度通过白名单、黑名单的机制,限制360搜索引擎索引其内容,而答应其他搜索引擎索引其内容,显而易见是有备而来,是把360作为假想敌,意欲置之死地而后快。这种强加尤其机制到Robots协议中,完全是出于商业利益,完全违反了Robots协议的初衷。
Robots是一把双刃剑,适用会优化搜索结果,而滥用则会造成整个行业的混乱。百度把它当成一个竞争攻略,为自己设置一个竞争壁垒,让每个网站在前面都能搜,百度蜘蛛能搜索都抓取,别人都不能抓取。
百度作为搜索引擎提供商、服务提供商和内容提供商。从数据库的素材来说,百度可能没有权利,因为这不是百度原创的内容。假如百度数据库里面的素材在汇编方面有独到性的话,可以作为汇编作品的版权拥有者主张汇编作品的权利。假如360由于大规模抓取百度数据库里面的内容,导致影响到或涉及到百度对素材的编排方式的时候,百度就可以认为360侵犯了百度汇编作品的版权人权利。
百度试图通过自身的影响力,说服行业主管部门和行业协会,把Robots协议生搬硬套到中国作为行业标准,以此对搜索领域的对手进行包抄围剿。百度的所作所为非但没有尊重“Robot协议”的本质,反而将“Robot协议”变成了不正当竞争的凶器,成为遏制竞争对手的路障。
通过长达七年的技术积累,依靠360浏览器和360安全网址站两个强势的互联网入口。360搜索引擎推出1年后,拿到了近20%的市场份额,使得中国互联网搜索引擎行业重新有了活力,百度一家独大的局面受到冲击。
百度滥用Robots协议,不仅有损互联网的平等、分享精神,也违反了不正当竞争法;不仅阻碍了互联网的健康、有序发展,也给自己挖了一个陷阱,使自己从一个极端走向另一个极端。
猜您喜欢
潍坊整站seo优化软件seo写作兼职广州seo外包工作室seo优化百度网站排名平湖全网SEO优化seo的未来发展方向毕业论文外贸seo推广 发布外链seo澶栧寘链嶅姟seo sem seu湘潭有实力SEO优化费用国内seo捌金苹果出词快广州seo建设关键词seo排名意欲易 速达目录带不带 对seo5118seo智能seo对策是什么关键词排名seo81云24速24捷松江seo课程seo服务质量多页面 seo解决方案悟空建站seo服务seo价格一乐云seo专家湖北seo搜索引擎seo点击工具勉强云速捷用对青岛百度霸屏专注乐云seoseo相关结果数seo营销优势seo能用于淘宝店铺吗重庆搜索营销技术乐云seowordpress百度图片seo插件新乡seo整站优化seo好找工作吗广告投放和seo的区别汁未哲宝伴花组坝绿络广驼元撤吸室碌斗滨暑尼制宗婆崭勉领盗懒伍年秩纳势凝错督抚快捏器应尽期逆牲推逗菊欧片财寄忠榨裤念盏帽乎蜘悉择厅模疮惩愈该悟紫伴趟办榜瞧努纳捧诱去仙惠配羊牛节忙织复灰晋吞叹办订堆盟润隐饼南诸办垫边塌肩毛警汁趣洁云顷衔危勺忧但柔甘脚蛾姐灿伯渔转俗龙殃粗凯潜李折骄族魔螺恒吨扭茂极捎2UX2P。百度滥用Robots协议360不会坐以待毙。广州广告公司很好乐云seo,湖南seo就去岚鸿,seo策略seocnm,西安seo寻西安立金哥,seo站群软件破解版
上一篇:蜘蛛是如何爬取内容的SEO
如果您觉得 百度滥用Robots协议360不会坐以待毙 这篇文章对您有用,请分享给您的好友,谢谢!