请问Discuz系统默认的robots.txt会屏蔽Google抓取吗？

品质

robots.txt, 使用的是系统默认的内容 ，未曾调整过，但是通过Google搜索，会出现如下提示，请问这是怎么回事呢？谢谢！

No information is available for this page.png

搜索结果中没有页面信息

系统自带的robots.txt如下：

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Allow: /data/attachment/
   
7. Allow: /data/cache/
   
8. Allow: /uc_server/data/avatar/
   
9. Disallow: /api/
   
10. Disallow: /data/
    
11. Disallow: /source/
    
12. Disallow: /install/
    
13. Disallow: /template/default/
    
14. Disallow: /config/
    
15. Disallow: /uc_client/
    
16. Disallow: /uc_server/
    
17. Disallow: /admin.php
    
18. Disallow: /search.php
    
19. Disallow: /member.php
    
20. Disallow: /api.php
    
21. Disallow: /misc.php
    
22. Disallow: /connect.php
    
23. Disallow: /forum.php?mod=redirect*
    
24. Disallow: /forum.php?mod=post*
    
25. Disallow: /home.php?mod=spacecp*
    
26. Disallow: /*?mod=misc*
    
27. Disallow: /*?mod=attachment*
    
28. Disallow: /*mobile=yes*

复制代码

1 贡献

最佳答案

不会

• Discuz有偿服务
• 发表于2023-6-19 23:24:29
• 详细答案 >

耗子

会的

品质

耗子 发表于 2023-6-18 10:57
会的

谢谢回复！请问怎么调整呢？

Discuz有偿服务

不会

湖中沉

耗子 发表于 2023-6-18 10:57
会的

会在哪里？你说说看……

很明显默认robots.txt完全没有对GG搜索单独的屏蔽条目啊……

crx349

robots.txt
默认不会屏蔽搜索引擎 搜索不到只能说明 google搜索引擎没收录你站内容哦

耗子

Discuz有偿服务 发表于 2023-6-19 23:24
不会

他递交robots.txt  里面包含 Disallow  这个难道 不会屏蔽google抓取 这里定义的一些目录吗？

Discuz有偿服务

耗子 发表于 2023-6-23 14:01
他递交robots.txt  里面包含 Disallow  这个难道 不会屏蔽google抓取 这里定义的一些目录吗？ ...

那些图片附件、头像、后台地址等内容不需要被收录，不影响帖子等正常页面收录，而且这个也不是针对google的，有问题的话所有搜索引擎都一样

卡卡北

User-agent: * 意思是允许所有种类的用户访问，它后面的Allow:和Disallow: 意思是，虽然我允许所有用户访问，但我还是给出一定的条件，用以下实例来解说：
Disallow: /data/ 意思是你不可以访问/data/这个文件夹，但又有一句Allow: /data/attachment/ 意思是虽然我前面说你不可以访问/data/这个文件夹，但是可以直接访问/data/attachment/这个文件夹，意思是/data/文件夹下除/attachment/之外，别的文件夹不能访问。