其实，网站接受搜索引擎蜘蛛爬行多，并不意味着流量就一定多，不过，如果百度、谷歌等蜘蛛爬行多了，收录与流量一定会多。
本站最近尝试过，发现，如果雅虎的蜘蛛爬行来得太多，抓取频繁了，会影响百度与、谷歌等蜘蛛爬行的来访次数。
网上搜过一些原因，主要是雅虎的蜘蛛爬行多了，会影响服务器的负载。不过，总不能因为这样，就屏掉这个雅虎的蜘蛛爬行吧。
笔者，尝试了各种方法。引来百度与谷歌的蜘蛛爬行，但就是不成功，详细查看了蜘蛛爬行监测文件，发现雅虎蜘蛛（Yahoo!Slurp和Yahoo!ChinaSlurp）访问量最大，大约是百度蜘蛛（BaiduSpider）的5倍，是谷歌蜘蛛（googlebot）的10倍，而实际上网站来自雅虎的流量简直都在5%以下。
于是，想到了一个方法，就是将雅虎的蜘蛛爬行的次数与速度减少。这样就不会影响百度与谷歌等搜引擎的蜘蛛爬行了。
方法这里分享下：首先打开TXT记事本，将以下代码复制进去，然后另存为robots.txt，最后将robots.txt上传到你的网站或博客所在主机的根目录：
User-agent:Yahoo-Slurp
Crawl-delay:300
注明一下User-agent表示搜索引擎的代理蜘蛛，Yahoo-Slurp是雅虎蜘蛛的名字；Crawl-delay表示爬虫延时，300表示时间。
这样，笔者发现，当雅虎的蜘蛛少了，百度与谷歌的则迅速增加了，而且谷歌的来得最多，而且频繁。流量也跟着上去了。（文/汤树东）
解决雅虎蜘蛛爬行太多抓取频繁方法分享
2011-02-11 09:25:39
阅读 2468 次
评论 10 条
发表评论