IIS服务器限制度搜索百度Google蜘蛛爬行抓取的方法

蜘蛛爬行抓取频繁是所有站长有时头痛的事情,很多站长都试过自己的网站太多蜘蛛爬行抓取网站的数据,有太多没有必要的爬行抓取,比如一些采集或小公司的蜘蛛,这样给网站服务器带来过大的压力,有是会造成不必要的假死情况出现.对于这情况.我们能通过IIS限制拒绝屏蔽这搜索蜘蛛爬行抓取,我们就需要在服务器限制拒绝百度Baiduspider Google Googlespider搜索蜘蛛爬行等,或限制他的读取时间,我们就以IIS为例说说我二个方法吧. 

1.能在ROBOT文件里指定百度蜘蛛抓取目录或时间 

User-agent: * 
Disallow: 
User-agent: XXXXspider 
Disallow: /bbs 
Disallow: /news 

上面的意思是指对所有搜索蜘蛛都开发访问爬行抓取,只对XXXXspider蜘蛛拒绝爬行抓取根目录下的bbs、News文件夹. 

或者你在ROBOT文件里指定百度蜘蛛抓取延时10秒，这也是一种方法。 

2,就是在IIS目录安全性里设置 
IIS目录安全性->IP地址及域名限制->域名- >http://www.baidu.com/search 
以2003系统为例如图 



点击拒绝访问，添加即可。 

希望对有需要的站长有所帮助与解决服务器假死问题.