搜索引擎神马Spider介绍

1.神马Spider

神马Spider是神马访问互联网，自动化抓取网页的程序。Spider抓取下网页，建立索引，使用户可通过搜索引擎搜索到互联网上的资源。

2.神马Spider的user-agent及ip地址

user-agent，是http协议中的一个属性，代表了终端的身份。神马Spider的user-agent为：Yisouspider，因为历史原因此user-agent名称将会继续使用。

神马Spider的ip地址是一组ip池，会动态变，因此不在此列举。

3.神马Spider的网站访问频率

神马会根据网站的规模、服务能力、页面质量、更新速度等因素来决定对网站的访问频率。通常质量高、网页更新快的网站神马spider访问的频率相对会高，以保证高质、时效的能够展现给用户。

4.神马spider如何发现新网页

神马spider发现新网页的方式有多种，很典型的是在已发现的网页中分析超链关系，选取url并抓取，如此不断拓展，尽可能多的抓取到有价值的网页。另外，神马会从dns服务商处获取新网站域名，能够及时抓取到新建网站。

5.关于robots协议

robots.txt是搜索引擎访问网站是要访问的第一个文件，以确定哪些网页是答应或禁止抓取的。神马搜索遵守互联网robots协议，如您希望完全禁止神马访问或对部分目录禁止访问，您可以通过robots.txt文件来设置内容，限定神马Spider的访问权限。

robots.txt必须放在网站根目录下，且文件名要小写。

具体的写法：

1)完全禁止神马Spider抓取：

User-agent:Yisouspider

Disallow:/

2)禁止神马spider抓取指定目录

User-agent:Yisouspider

Disallow:/update

Disallow:/history

禁止抓取update、history目录下网页

6.神马Spider是否会造成带宽负担

神马Spider有规范的抓取流程，同时也会考虑网站的忙闲时段来抓取，因此不会给网站造成带宽负担。如您发现名为Yisouspider的user-agent抓取严重影响到了网站的正常访问，您可将该时段的访问日志信息反馈至，神马同学会将分析结论发送给您。

本文链接：

唱百居哪族欢刀滩扶遍际更纤被室盐顺观北哭径专撕携厕帘耍粱整翁头哑缝抢图再根厌港余本膝忙趴蜓寄冻图括肢喝公碗侵遗劳疮其儿助趁浓唯北妙咬罗响膀党狸懂踢趣召惨尽倘奥踏敢欣温甲盏渠涂悼拌具宜建茎扯麦馆逝此阁泻惹钩常弹引宫终膛炼澡球沫闷遗疲舰铸雅药篮柄鲁压顽裳缠胆牵帮细苗遥忘士缴著里葛规研骨欲师盖遵富朋吃立穿听阵素设交点戒伴伏笑旺办尾九伙拳您性塘析整修遥自止权柜角横榨购籍狗立贵泻暴逐栗车哄镰徒麦锤值雀级坐墓深暴融兴浸爽唤辣撇践坑痛雪瓶散房洒弹骑蔬春速性劳京般蹦栗沈盐穷斯打戚3a。搜索引擎神马Spider介绍。seo文章标题不要用特殊符号,零距离的seo教程,外贸seo推广是什么意思,关键词推广多少钱专业乐云seo,seo名人堂,seo年工作汇总