请选择 进入手机版 | 继续访问电脑版
查看: 234|回复: 1

[求助] discuz关于禁止SemrushBot等爬虫的问题

[复制链接]

3

主题

4

回帖

11

积分

初学乍练

贡献
0 点
金币
3 个
发表于 2022-11-27 17:29:30 | 显示全部楼层 |阅读模式
这两天发现SemrushBot这个爬虫爬的很频繁  一分钟能爬十来次
robot.txt中是这样填写的吗
  1. User-agent: MJ12bot
  2. Disallow: /
  3. User-agent: SemrushBot
  4. Disallow: /
复制代码
直接在robot尾部加的吗?还是有什么其它的方法可以屏蔽掉这些垃圾爬虫
我知道答案 回答被采纳将会获得5 金币 + 1 金币 已有1人回答
回复

使用道具 举报

3

主题

78

回帖

102

积分

渐入佳境

贡献
0 点
金币
19 个
发表于 2022-11-27 20:27:46 | 显示全部楼层
你可以网上找一下这些蜘蛛的IP,连IP也屏蔽了【慎重,别搞错了】
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

添加有偿服务QQ
添加有偿服务微信