返回列表 发帖
查看: 1111|回复: 2

[求助] 请问如何禁谷歌和必应的蜘蛛搜索引擎

5

主题

8

回帖

14

积分

初学乍练

贡献
0 点
金币
0 个
发表于 2023-8-10 23:48:40 | 查看全部 |阅读模式
必应每天都有几千个爬行记录,就是老个人资料


robots.txt我这样写对么,大佬帮纠正一下

#
# robots.txt for Discuz! X3
#

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
Disallow: */home
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*

User-agent: Googlebot
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: manbot
Disallow: /

我知道答案 回答被采纳将会获得1 贡献 已有2人回答
回复

使用道具 举报

5

主题

8

回帖

14

积分

初学乍练

贡献
0 点
金币
0 个
 楼主| 发表于 2023-8-11 09:45:01 | 查看全部
11111111111
回复

使用道具 举报

12

主题

25

回帖

49

积分

初学乍练

贡献
0 点
金币
10 个
发表于 2024-7-11 14:55:32 | 查看全部
现在百度不给站长活路,bing还算友好了,。至少大部分站点的bing流量已经超越百度了。,你还禁止bing抓取
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 关注公众号
  • 有偿服务微信
  • 有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

GMT+8, 2025-6-18 05:23 , Processed in 0.045671 second(s), 12 queries , Redis On.

Powered by Discuz! W1.0 Licensed

Cpoyright © 2001-2025 Discuz! Team.

关灯 在本版发帖
有偿服务QQ
有偿服务微信
返回顶部
快速回复 返回顶部 返回列表