搜索不遵守规则怎么办

ysx24

弄了一个备份站点不对外开放，放损友们的游戏截图游戏宏备份等，游戏友们内部使用（当然没有学习日语的视频，都是一群不正经的正经人）
并且在论坛根目录下的
robots.txt  规则只有两行

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Disallow:/
   

复制代码

禁止所有搜索引擎抓取，可谷歌蜘蛛还是时常来，是规则有问题么？

初锦

如果你是想要我这种效果，那很容易。如果想要蜘蛛不来，很难，人家凭什么不来？就因为你一纸空文就不来？人家不做生意了吗？谷歌号称全球最大流氓，你指望人家不来？

ysx24

谷歌做为全球性大公司，不遵守robots君子协定，这倒有些意外
对了  你的robots能分享下么

老周部落

1. User-Agent: *
   
2. Disallow: /

复制代码

好像您的版本少了空格

另外 robots.txt 也不会完全避免采集，他还是会定期爬一下 robots.txt 的。
另外有的软件防火墙会干掉 robots.txt 访问，如果干掉的话也不能终止爬取。

ysx24

老周部落 发表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不会完全避免采集，他还是会定期爬一下 robots.txt 的。

改真是，少了个空格