求助百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛

牧羊人 · 发表于 2019-9-5 20:30:24

求助百度蜘蛛大量爬我的网站。一天时间将近10g流量都是蜘蛛爬的。  我都不知道为什么中国蜘蛛老是来爬  以前一天还有几十个帖子。爬打不开一个新帖子也没有了。
原来用的虚拟主机，换成服务器的话  cpu2    硬盘50    宽带  3m  够不够？
没有用过服务器  不知道呀
知道的朋友路过看看谢谢  谢谢

牧羊人 · 发表于 2019-9-5 20:42:48

在线急等

牧羊人 · 发表于 2019-9-5 21:22:55

不用等大家回复了。我找到问题根源了。在百度站长平台上，以前是一天蜘蛛抓取几百次。最最近一月不知道怎么抽风了，一天平均将近20万次，现在已经设置最高不超过1300次了。应该可以了。

jnpar · 发表于 2019-9-8 23:05:40

抓的频率那么高吗？是好事啊

查看全部 · 发表于 2019-9-10 18:39:22

提示: 作者被禁止或删除内容自动屏蔽

牧羊人 · 发表于 2019-9-11 19:43:46

jnpar 发表于 2019-9-8 23:05
抓的频率那么高吗？是好事啊

事情倒是挺好，就是服务器受不了。乐极生悲大概就是如此现在好了

牧羊人 · 发表于 2019-9-11 19:44:04

ill01 发表于 2019-9-10 18:39
抓我 100G 都可以

能量量你的服务器配置吗？

查看全部 · 发表于 2019-10-27 23:59:49

提示: 作者被禁止或删除内容自动屏蔽

ill01 该用户已被删除	发表于 2019-9-10 18:39:22 \| 查看全部提示: 作者被禁止或删除内容自动屏蔽
ill01 该用户已被删除
	回复赞使用道具举报

ill01 该用户已被删除	发表于 2019-10-27 23:59:49 \| 查看全部提示: 作者被禁止或删除内容自动屏蔽
ill01 该用户已被删除
	回复赞使用道具举报

求助百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛

产品服务

开发者服务

使用教程

求助 百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛

产品服务

开发者服务

使用教程

求助百度蜘蛛大量爬我的网站。一个将近10g流量都是蜘蛛