discuz关于禁止SemrushBot等爬虫的问题

chunge327

这两天发现SemrushBot这个爬虫爬的很频繁  一分钟能爬十来次
robot.txt中是这样填写的吗

1. User-agent: MJ12bot
   
2. Disallow: /
   
3. User-agent: SemrushBot
   
4. Disallow: /

复制代码

直接在robot尾部加的吗？还是有什么其它的方法可以屏蔽掉这些垃圾爬虫

我知道答案 回答被采纳将会获得5 金币 + 1 金币 已有1人回答

babyfacer

你可以网上找一下这些蜘蛛的IP，连IP也屏蔽了【慎重，别搞错了】