登录立即注册

Discuz! 官方交流社区»社区 › Discuz! X 交流与讨论 › 问题求助 › 屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带 ...

返回列表发帖

查看: 1601|回复: 2

[已解决] 屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽

23 主题	36 回帖	71 积分

贡献: 1 点
金币: 1 个

发消息

发表于 2023-11-1 12:40:17 | 查看全部 |阅读模式

屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽

我参考这个帖子操作有些管用,分享给有这个方面的站长参考？
http://lieqiyi.com/forum.php?mod=viewthread&tid=1098&extra=page%3D1

1 贡献

最佳答案

robot.txt部分流氓蜘蛛不遵守，主要还是靠服务器端去设置屏蔽掉部分来源即可

湖中沉
发表于2023-11-1 13:11:16
详细答案 >

444444, 20px, quot

回复

使用道具举报

相关帖子

Discuz!扩展中心查看TA的应用

35 主题	6366 回帖	1万积分

应用开发者

贡献: 642 点
金币: 1450 个

发消息

发表于 2023-11-1 13:11:16 | 查看全部

robot.txt部分流氓蜘蛛不遵守，主要还是靠服务器端去设置屏蔽掉部分来源即可

回复赞

使用道具举报

23 主题	36 回帖	71 积分

贡献: 1 点
金币: 1 个

发消息

楼主| 发表于 2023-11-2 12:46:40 | 查看全部

总算搞定垃圾蜘蛛爬虫访问问题，以前一天5-6万垃圾爬虫，搞得服务器内存和带宽卡得要死？现在搞定了
QQ浏览器截图20231102124129.png

QQ浏览器截图20231102124129.png

回复赞

使用道具举报

返回列表发帖

产品服务

Discuz! 程序下载 Discuz! 应用中心 Discuz! 开放平台

开发者服务

开发者服务魔方加密应用分销

使用教程

Discuz! 资料库 Discuz! 使用教程 Discuz! 开发教程

关注公众号
有偿服务微信
有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|

GMT+8, 2025-12-19 12:52 , Processed in 0.061606 second(s), 16 queries , Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯在本版发帖

有偿服务微信

快速回复 返回顶部 返回列表