Sogou web spider搜狗的爬虫把我的网站弄垮了

点击打开微信,马上办理ETC

搜狗爬虫:Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗爬虫IP:220.181.125.86 我看有网上的人说这个是百度的爬虫,其实不是,是搜狗的IP。

 

今早发现自己的网站打开奇慢无比,但是因为有事情,就没有管。中午再登录的时候,网站直接被主机厂商给关了,逼得我必须开CDN才可以重新开。无奈找了一个国外的免费的CDN以后,找主机商重新开启服务器,登录以后查看访客,靠,全是搜狗的爬虫,真是服了搜狗的,你说你是个搜索引擎,也不至于这样,爬的也太频繁了,网站承受不住啊。

 

看了一下自己网站流量来源,每天搜狗也就带来10个PV,算了不要搜狗的流量了,屏蔽了搜狗的爬虫IP,为了其他大多数访客能访问只好这样了。

 

屏蔽了搜狗的爬虫,它还一个劲的访问,真是服了它了。

点击打开微信,马上办理ETC