请选择 进入手机版 | 继续访问电脑版
查看: 616|回复: 4

搜索不遵守规则怎么办

[复制链接]

220

主题

1133

帖子

1197

积分

King

Rank: 5Rank: 5

贡献
0 点
金币
5 个
发表于 2021-12-30 11:51:06 来自手机版 | 显示全部楼层 |阅读模式
弄了一个备份站点不对外开放,放损友们的游戏截图游戏宏备份等,游戏友们内部使用(当然没有学习日语的视频,都是一群不正经的正经人)
并且在论坛根目录下的
robots.txt  规则只有两行
  1. #
  2. # robots.txt for Discuz! X3
  3. #

  4. User-agent: *
  5. Disallow:/
复制代码

禁止所有搜索引擎抓取,可谷歌蜘蛛还是时常来,是规则有问题么?
回复

使用道具 举报

28

主题

272

帖子

308

积分

Conqueror

Rank: 3Rank: 3Rank: 3

贡献
0 点
金币
24 个
QQ
发表于 2021-12-30 14:09:18 | 显示全部楼层
12.PNG

如果你是想要我这种效果,那很容易。如果想要蜘蛛不来,很难,人家凭什么不来?就因为你一纸空文就不来?人家不做生意了吗?谷歌号称全球最大流氓,你指望人家不来?


回复 支持 反对

使用道具 举报

220

主题

1133

帖子

1197

积分

King

Rank: 5Rank: 5

贡献
0 点
金币
5 个
 楼主| 发表于 2021-12-30 14:54:28 来自手机版 | 显示全部楼层
谷歌做为全球性大公司,不遵守robots君子协定,这倒有些意外
对了  你的robots能分享下么
回复 支持 反对

使用道具 举报

0

主题

989

帖子

1057

积分

开发者

啦啦啦~

Rank: 6Rank: 6Rank: 6

贡献
2 点
金币
33 个
发表于 2021-12-30 21:18:24 | 显示全部楼层
  1. User-Agent: *
  2. Disallow: /
复制代码

好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。
另外有的软件防火墙会干掉 robots.txt 访问,如果干掉的话也不能终止爬取。
老周博客
本人不在任何渠道提供任何付费技术支持服务, 谨防上当受骗.
回复 支持 反对

使用道具 举报

220

主题

1133

帖子

1197

积分

King

Rank: 5Rank: 5

贡献
0 点
金币
5 个
 楼主| 发表于 2021-12-31 05:02:09 来自手机版 | 显示全部楼层
老周部落 发表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。

改真是,少了个空格
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

添加有偿服务QQ
添加有偿服务微信