有什么插件能控制谷歌爬虫抓去及其它爬虫

klg548

有什么插件能控制谷歌爬虫抓去及其它爬虫，服务器压力很大，CPU4内存4G带宽10经常拉得满满，就是一个新建的论坛，

我知道答案 回答被采纳将会获得1 贡献 已有4人回答

天外飘仙

……你这是被人盯上 了吧;
你这配置, 新建论坛 蜘蛛抓取很难拉满的! 新建论坛 被蜘蛛抓的拉满 应该高些才是

专家

这根本不是小网站有能力解决的问题。办法是有的，但难度很高。
大网站遇到了这种问题都得花不少功夫解决，还不一定能处理好。
可以参考以下文章，了解搜索引擎爬虫的威力：
https://www.cnblogs.com/cmt/p/17254793.html
https://www.cnblogs.com/cmt/p/17270037.html
https://www.cnblogs.com/cmt/p/17353598.html

klg548

天外飘仙 发表于 2023-7-27 16:44
……你这是被人盯上 了吧;
你这配置, 新建论坛 蜘蛛抓取很难拉满的! 新建论坛 被蜘蛛抓的拉满 应该高些才 ...

主要是谷歌爬虫太平凡啦？程序做了IP屏蔽，服务器上也做IP屏蔽，谷歌爬虫换了IP段来平凡爬去？头痛谷歌。搞我经常做IP屏蔽。烦躁的很。。。。。。

klg548

专家 发表于 2023-7-27 17:21
这根本不是小网站有能力解决的问题。办法是有的，但难度很高。
大网站遇到了这种问题都得花不少功夫解决， ...

谢谢大神指引