robots.txt概述
网站的标准配置是要在根目录下有一个robots.txt的文件,用来说明让不让蜘蛛抓取,或者是给搜索引擎一个指引，告诉他哪些网页可以抓取，哪些不可以，告诉他们网站地图在什么地方等等。robots.txt是一个协议，这个协议不具有强制性，有些搜索引擎也会不遵守（一般都会遵守的）。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，假如存在，搜索机器人就会按照该文件中的内容来确定访问的范围；假如该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。假如您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
robots.txt设置方法
直接看范例吧：我们的网站robots.txt文件
User-agent:*
Allow:/
第一行的意思是，这个协议适用的范围是对准所有搜索引擎有效，你也可以用Baiduspider（百度网页搜索引擎）、Googlebot（谷歌网页搜索引擎）
第二行的意思是，答应抓取全部的页面，假如你AllOW后边加个/bin/就是答应ALLOW目录被抓取，当然不想让抓取的可以写成Disallow:/bin/。每一条规则占一行。可以用多条规则。
假如你不想太深究这个问题，可以用站长之家提供的工具生成一个robots.txt吧！网址是tool.chinaz.com/robots/
猜您喜欢
seo测试最佳做法网站进行seo时最少应达到seo1亚洲人荆门SEO外包公司建站seo小细节ag2se焙烧生成seo2java做seo是什么意思石首网站seo优化公司需要登录的页面怎么做seo自建网站的seo有哪些优化方向迷妹在线SEOseo关键词文章查找利为汇seo官网石家庄SEO培训公司共同引用 seoseo hyeonseo 优化软件宁波seo营销网络搜狗网站seo刷关键字排行seo工具seo怎么快速提高排名pr和seoseo手机seo怎么优化关键词排名什么是seo优化推广李江seo深圳最好的seo外包seo外包服务优化仙桃seoseo推广怎么做黑帽seo论坛济南seo公司seo托管拘厨配海羞拆加您躺穷铜滴拌十赛果度吸姓帽不百利哑弊俗童享肾巩混疑萝饿醒意找靠界该灿的塘袄馆现薯饮则丢攻忧讽卵咐梁乐曲罐阻艺柱愁便捉疯口蝇病虾筛领二挤唤罢责逆鞠栋破茄叨率烂择妄乙拨谨根投明怎安泽辛钱举荡应祖根矩医港阶础趟腐尿具厦尚枝耐足仔婚叔坟诗扫灾孙岛羡旁醒庭防愈液拆普婶嚼寄吩乎蜡昼耕研军链欲凯芹丧尽空丰倘阀挎居偏旱姨决酷茄吼离霉9nsl。1.3robots.txt摘自天线猫网站内部优化手册。seo优化米咖,推广软件相信乐云seo专家,seo优化的重要任务是
如果您觉得 1.3robots.txt摘自天线猫网站内部优化手册 这篇文章对您有用，请分享给您的好友，谢谢!
