Discuz!应用商城(DisMall)Discuz!应用商城(DisMall)

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 403|回复: 4

搜索不遵守规则怎么办

[复制链接]

146

主题

798

帖子

839

积分

Lord

Rank: 4

贡献
0 点
金币
4 个
发表于 2021-12-30 11:51:06 来自手机版 | 显示全部楼层 |阅读模式
弄了一个备份站点不对外开放,放损友们的游戏截图游戏宏备份等,游戏友们内部使用(当然没有学习日语的视频,都是一群不正经的正经人)
并且在论坛根目录下的
robots.txt  规则只有两行
  1. #
  2. # robots.txt for Discuz! X3
  3. #

  4. User-agent: *
  5. Disallow:/
复制代码

禁止所有搜索引擎抓取,可谷歌蜘蛛还是时常来,是规则有问题么?
回复

使用道具 举报

27

主题

249

帖子

278

积分

Conqueror

Rank: 3Rank: 3Rank: 3

贡献
0 点
金币
19 个
QQ
发表于 2021-12-30 14:09:18 | 显示全部楼层
12.PNG

如果你是想要我这种效果,那很容易。如果想要蜘蛛不来,很难,人家凭什么不来?就因为你一纸空文就不来?人家不做生意了吗?谷歌号称全球最大流氓,你指望人家不来?


回复 支持 反对

使用道具 举报

146

主题

798

帖子

839

积分

Lord

Rank: 4

贡献
0 点
金币
4 个
 楼主| 发表于 2021-12-30 14:54:28 来自手机版 | 显示全部楼层
谷歌做为全球性大公司,不遵守robots君子协定,这倒有些意外
对了  你的robots能分享下么
回复 支持 反对

使用道具 举报

0

主题

988

帖子

1031

积分

开发者

啦啦啦~

Rank: 6Rank: 6Rank: 6

贡献
2 点
金币
8 个
发表于 2021-12-30 21:18:24 | 显示全部楼层
  1. User-Agent: *
  2. Disallow: /
复制代码

好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。
另外有的软件防火墙会干掉 robots.txt 访问,如果干掉的话也不能终止爬取。
老周博客
本人不在任何渠道提供任何付费技术支持服务, 谨防上当受骗.
回复 支持 反对

使用道具 举报

146

主题

798

帖子

839

积分

Lord

Rank: 4

贡献
0 点
金币
4 个
 楼主| 发表于 2021-12-31 05:02:09 来自手机版 | 显示全部楼层
老周部落 发表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不会完全避免采集,他还是会定期爬一下 robots.txt 的。

改真是,少了个空格
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz!应用中心 ( 皖ICP备16010102号 )|网站地图star

GMT+8, 2022-7-7 21:55 , Processed in 0.040020 second(s), 10 queries , Yac On.

Powered by Discuz!

Copyright © Tencent Cloud.

快速回复 返回顶部 返回列表