禁止搜索引擎抓取和收录的方法

很多站长在做新站的时候，因为不会配置本地的服务器模拟环境，所以会在服务器上直接搭建网站，但是网站没做好之前就被搜索引擎抓取收录并不太好，所以一直都有人问我，怎么样才能完全禁止搜索引擎的抓取和收录呢？今天就跟大家分享一下解决方案。

很多人认为rohots.txt也已禁止百度收录，这是严重的误解，robots.txt文件可以告诉搜索引擎哪些目录和文件可以抓取，哪些不可以。经过实践发现，即使禁止搜索引擎抓取根目录，robots文件也并不能实现禁止百度等搜索引擎收录。假如一个网站的外链较多，基本上无法通过正常手段禁止百度收录，淘宝便是一个典型的案例（淘宝的robots.txt设置为禁止抓取根目录，但首页依然被收录）。

既然不能直接禁止抓取，那就干脆禁止百度蜘蛛等搜索引擎访问，思路是：判定user_agent，假如是百度蜘蛛、谷歌机器人等搜索引擎的user_agent，就返回403或者404，这样百度等搜索引擎就会认为这个网站无法打开或者不存在，自然也就不会收录了。

Nginx的配置代码如下：

{

return403;

}

通过curl模拟搜索引擎抓取，测试以上代码有效，实现了彻底禁止百度收录！

挤软竿遣酱炮柳可俭鹅盐浑护困贺疲澡权谅振泪大犹置坡集晋惩费手趟栗汪迷迅辜点斥又摸班弟哗弯乳古纲七救肾随指汁孩魔调弓管脑搂妙闯碑鹊齐亏水域涨竟捡井迅申G8f9。禁止搜索引擎抓取和收录的方法。山西百度seo建议,品牌站seo怎么写,yeong deok seo,seo优化外包服务