返回列表 发帖
查看: 1243|回复: 4

搜索不遵守规则怎么办

288

主题

1195

回帖

1596

积分

已臻大成

贡献
4 点
金币
0 个
发表于 2021-12-30 11:51:06 来自手机 | 显示全部楼层 |阅读模式
弄了一个备份站点不对外开放,放损友们的游戏截图游戏宏备份等,游戏友们内部使用(当然没有学习日语的视频,都是一群不正经的正经人)
并且在论坛根目录下的
robots.txt  规则只有两行
  1. #
  2. # robots.txt for Discuz! X3
  3. #

  4. User-agent: *
  5. Disallow:/
复制代码

禁止所有搜索引擎抓取,可谷歌蜘蛛还是时常来,是规则有问题么?
回复

使用道具 举报

28

主题

282

回帖

385

积分

炉火纯青

贡献
5 点
金币
35 个
QQ
发表于 2021-12-30 14:09:18 | 显示全部楼层
12.PNG

如果你是想要我这种效果,那很容易。如果想要蜘蛛不来,很难,人家凭什么不来?就因为你一纸空文就不来?人家不做生意了吗?谷歌号称全球最大流氓,你指望人家不来?


回复 支持 反对

使用道具 举报

288

主题

1195

回帖

1596

积分

已臻大成

贡献
4 点
金币
0 个
 楼主| 发表于 2021-12-30 14:54:28 来自手机 | 显示全部楼层
谷歌做为全球性大公司,不遵守robots君子协定,这倒有些意外
对了  你的robots能分享下么
回复 支持 反对

使用道具 举报

2

主题

1412

回帖

2043

积分

应用开发者

啦啦啦~

贡献
55 点
金币
320 个
发表于 2021-12-30 21:18:24 | 显示全部楼层
  1. User-Agent: *
  2. Disallow: /
复制代码

好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。
另外有的软件防火墙会干掉 robots.txt 访问,如果干掉的话也不能终止爬取。
老周博客
本人不在任何渠道提供任何付费技术支持服务, 谨防上当受骗.
回复 支持 反对

使用道具 举报

288

主题

1195

回帖

1596

积分

已臻大成

贡献
4 点
金币
0 个
 楼主| 发表于 2021-12-31 05:02:09 来自手机 | 显示全部楼层
老周部落 发表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。

改真是,少了个空格
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 关注公众号
  • 有偿服务微信
  • 有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

GMT+8, 2024-6-25 00:42 , Processed in 0.043246 second(s), 7 queries , Redis On.

Powered by Discuz! W1.0 Licensed

Cpoyright © 2001-2024 Discuz! Team.

关灯 在本版发帖
有偿服务QQ
有偿服务微信
返回顶部
快速回复 返回顶部 返回列表