返回列表 发帖
查看: 960|回复: 1

[求助] discuz关于禁止SemrushBot等爬虫的问题

4

主题

4

回帖

11

积分

初学乍练

贡献
0 点
金币
2 个
发表于 2022-11-27 17:29:30 | 查看全部 |阅读模式
这两天发现SemrushBot这个爬虫爬的很频繁  一分钟能爬十来次
robot.txt中是这样填写的吗
  1. User-agent: MJ12bot
  2. Disallow: /
  3. User-agent: SemrushBot
  4. Disallow: /
复制代码
直接在robot尾部加的吗?还是有什么其它的方法可以屏蔽掉这些垃圾爬虫
我知道答案 回答被采纳将会获得1 贡献 + 1 金币 已有1人回答
回复

使用道具 举报

12

主题

503

回帖

684

积分

自成一派

贡献
26 点
金币
24 个
发表于 2022-11-27 20:27:46 | 查看全部
你可以网上找一下这些蜘蛛的IP,连IP也屏蔽了【慎重,别搞错了】
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 关注公众号
  • 有偿服务微信
  • 有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

GMT+8, 2025-7-3 11:58 , Processed in 0.035474 second(s), 8 queries , Redis On.

Powered by Discuz! W1.0 Licensed

Cpoyright © 2001-2025 Discuz! Team.

关灯 在本版发帖
有偿服务QQ
有偿服务微信
返回顶部
快速回复 返回顶部 返回列表