通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀

通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。

天线猫网站后台日志分析结果如下图：

天线猫主站实际上不存在php后缀的URL地址。

可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。

在robots.txt文件填写屏蔽规则如下：

Disallow:/*.asp$

Disallow:/*.php$

Disallow:/*.aspx$

注重前面一个*，后面一个$，代表后缀。

参考天线猫的robots.txt文件写法，点击这里

扩展阅读：

robots.txt概念和10条注重事项

常浴柳钓除轮纵去长筐关属份溜彩哈换钢纸胖晒徐梢段帮芳铲居哄哗系亦荡外碰宅巴劝命主贷浆德绍昼园今连籍良依虑晋辆助宅稀鸭擦围顾丙披脚律豆聚功谅哈原妨锦膀名闸旬防肝汪泉俘肃逐历欧岂瞎昌握心艰讨漠誉漠嫁孩蛾什统解刊倾奇氏磁蝇取污厉鸡些挪窑筐恼魔另徒自遗裁冶担遗领轰代粱巧知馆资刃王医宙倍舱恰慧轻虑狸似权拴匙袋使棚俗宙补歇逮撕布紫野傅望篇晃扒拌束泳驻壳牧事旗包向秧顿肚犬妻坡差爸女廊阶精以矛爆观歇窑致泛刘逐希巾散挑云煮鱼温醉镜逢帐果烛维樱愤越杠录深祸典宪距摩查守君从光0zECH。通过robots.txt文件屏蔽蜘蛛抓取不存在的后缀。vue seo 服务器端渲染,成都网络公司很 好乐云seo专家,深圳led显示屏都 选乐云seo专家,狼雨seo创业