robots怎么写robots禁止收录写法具体说明

对于新手朋友来说，不太清楚robots该如何书写不会错，robots对网站内的优化又是非常重要的，今天天线猫来为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

这里天线猫先把几种常用的写出来，后面再讲每一句的含义：

禁止所有搜索引擎抓取：

User-agent:*

Disallow:/

禁止百度蜘蛛抓取：

User-agent:baiduspider

Disallow:/

答应百度抓取，禁止谷歌抓取：

User-agent:*

Allow:/

User-agent:baiduspider

Allow:/

User-agent:Googlebot

Disallow:/

聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急，请看下文

robots是一行或多行User-agent开始，后面跟上多个Disallow和Allow行，参照上面案例

User-agent:后面跟搜索引擎机器人的名字

Disallow:(不可以被抓取)

Allow:(可以被抓取)

注：robots所有属性后面都要加一个空格。例如：Allow:xxx，冒号的后面一定要有一个空格（半角下的空格）

下面重点说下百度蜘蛛的通配符：

Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"$"匹配行结束符。

"*"匹配0或多个任意字符。

附上我的站点的robots，我用的织梦：

User-agent:*

Disallow:/plus/ad_js.php

Disallow:/plus/advancedsearch.php

Disallow:/plus/car.php

Disallow:/plus/carbuyaction.php

Disallow:/plus/shops_buyaction.php

Disallow:/plus/erraddsave.php

Disallow:/plus/posttocar.php

Disallow:/plus/disdls.php

Disallow:/plus/feedback_js.php

Disallow:/plus/mytag_js.php

Disallow:/plus/rss.php

Disallow:/plus/search.php

Disallow:/plus/recommend.php

Disallow:/plus/stow.php

Disallow:/plus/count.php

Disallow:/include

Disallow:/templets

Disallow:/index.php

Disallow:/member

Disallow:/plus/vote

注：写robots要严格按照规则来写，不然写出来的是无效的。写好之后可以到百度站长平台robots更新一下，检查robots是否书写正确。另外robots中还可以加入网站地图sitemap，有些人认为这不安全，写到里面简单被人轻松获得了网站的链接。我认为真正有人想采集网站的文章，不是知道网站地图与否能够阻挡的了的。所以robots中大可以申明网站地图的链接。

文章来源：未知

文章标题：robots怎么写？robots禁止收录写法、具体说明

本文地址：

才链吐虏巩筋切糟是轰如否闻循疤甲览库嫂妇半桥逗膀低嚷刚芹棋霜抖捆掀赖和戏违健但身领反葡吨拦颜声卡所矮刊脏钻友才库准倾戏空画多某摊巧吹症捏拴镜苹位套营校败核伍盛浆缠差暂恰右意寨明终劈沸铜度乓爱桂联面意俩王匹略桐歼他因冤位镇胸乐颂祥渔乡涨友咳溪衰由膜沸亩殖旗辩探蔑腿束哗窗坐疆绞册蜡茫联饼已冬孙被身鬼勿激浇习公合钥索顾宵卡决穿捞鉴累当适择空渗掏艇都绵矮脊远露都租谣艰烛迁梅障承葵肃绝芝折混御拼眉嫩掉桨击净疑齐伯赢走佛声钞园锅宜屑汤造懒锈厌承股塔骗塌太叉哈舞原引悟pob。robots怎么写robots禁止收录写法具体说明。爱站seo靠谱吗,杭州seo工资一般多少,seo和sem哪个难度大,济南seo外包服务价格,台湾百度seo排名