• 首页
  • 社区BBS
  • 使用教程
  • 应用中心
  • 开放平台
  • WitFrame
  • 服务中心
    • 立即注册
    Discuz! 官方交流社区»社区 › Discuz! X 交流与讨论 › Discuz! X 问题求助 › 屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带 ...
    返回列表 发帖
    查看: 626|回复: 2

    [已解决] 屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽

    klg548

    21

    主题

    34

    回帖

    61

    积分

    渐入佳境

    贡献
    0 点
    金币
    0 个
    QQ
    发表于 2023-11-1 12:40:17 | 显示全部楼层 |阅读模式
    屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽

    我参考这个帖子操作有些管用,分享给有这个方面的站长参考？
    http://lieqiyi.com/forum.php?mod=viewthread&tid=1098&extra=page%3D1

    1 贡献

    最佳答案

    robot.txt部分流氓蜘蛛不遵守，主要还是靠服务器端去设置屏蔽掉部分来源即可
    回复

    使用道具 举报

    湖中沉

    18

    主题

    4034

    回帖

    7401

    积分

    应用开发者

    贡献
    363 点
    金币
    1397 个
    QQ
    发表于 2023-11-1 13:11:16 | 显示全部楼层
    robot.txt部分流氓蜘蛛不遵守，主要还是靠服务器端去设置屏蔽掉部分来源即可
    有偿服务QQ：341936031
    回复 支持 反对

    使用道具 举报

    klg548

    21

    主题

    34

    回帖

    61

    积分

    渐入佳境

    贡献
    0 点
    金币
    0 个
    QQ
     楼主| 发表于 2023-11-2 12:46:40 | 显示全部楼层
    总算搞定垃圾蜘蛛爬虫访问问题，以前一天5-6万垃圾爬虫，搞得服务器内存和带宽卡得要死？现在搞定了
    QQ浏览器截图20231102124129.png
    回复 支持 反对

    使用道具 举报

    返回列表 发帖
    高级模式
    B Color Image Link Quote Code Smilies
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    产品服务

    Discuz! 程序下载 Discuz! 应用中心 Discuz! 开放平台

    开发者服务

    开发者服务 魔方加密 应用分销

    使用教程

    Discuz! 资料库 Discuz! 使用教程 Discuz! 开发教程
    • 关注公众号
    • 有偿服务微信
    • 有偿服务QQ

    手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

    GMT+8, 2024-5-19 17:33 , Processed in 0.045522 second(s), 9 queries , Redis On.

    Powered by Discuz! W1.0 Licensed

    Cpoyright © 2001-2024 Discuz! Team.

    关灯 在本版发帖
    有偿服务QQ
    有偿服务微信
     返回顶部
    快速回复 返回顶部 返回列表