请选择
进入手机版
|
继续访问电脑版
首页
社区
BBS
使用教程
应用中心
开放平台
服务中心
云服务器
Discuz! 使用教程
Discuz! 资料库
Discuz! 开发教程
Discuz!交流社区
»
社区
›
Discuz! 交流与讨论
›
Discuz问题求助
›
discuz关于禁止SemrushBot等爬虫的问题
返回列表
发帖
查看:
234
|
回复:
1
[
求助
]
discuz关于禁止SemrushBot等爬虫的问题
[复制链接]
chunge327
chunge327
当前离线
积分
11
3
主题
4
回帖
11
积分
初学乍练
初学乍练, 积分 11, 距离下一级还需 39 积分
初学乍练, 积分 11, 距离下一级还需 39 积分
贡献
0 点
金币
3 个
发消息
发表于 2022-11-27 17:29:30
|
显示全部楼层
|
阅读模式
这两天发现
SemrushBot这个爬虫爬的很频繁 一分钟能爬十来次
robot.txt中是这样填写的吗
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
复制代码
直接在robot尾部加的吗?还是有什么其它的方法可以屏蔽掉这些垃圾爬虫
我知道答案
回答被采纳将会获得
5
金币 +
1
金币
已有
1
人回答
回复
使用道具
举报
babyfacer
babyfacer
当前离线
积分
102
3
主题
78
回帖
102
积分
渐入佳境
渐入佳境, 积分 102, 距离下一级还需 98 积分
渐入佳境, 积分 102, 距离下一级还需 98 积分
贡献
0 点
金币
19 个
发消息
发表于 2022-11-27 20:27:46
|
显示全部楼层
你可以网上找一下这些蜘蛛的IP,连IP也屏蔽了【慎重,别搞错了】
回复
支持
反对
使用道具
举报
返回列表
发帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
添加有偿服务QQ
添加有偿服务微信