robots.txt 的問題

wish

請教先進Discuz! X3.5 的內建robots.txt 問題，內建有下列4行︰

Allow: /data/attachment/

Allow: /data/avatar/

Allow: /data/cache/

Allow: /uc_server/data/avatar/

上面第1行是請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，是只同意網路蜘蛛抓取/data/attachment/這個而已，或是連同該目錄下所有的目錄一併抓取？

上面第2行請網路蜘蛛去/data/avatar/ 目錄抓取，這個目錄只有index.htm 及noavatar.svg 這兩個檔案，沒有其它目錄，index.htm 大小為0， noavatar.svg 查詢是個空白人頭，允許抓這兩個檔案對SEO 有影響嗎？

上面第3行是請網路蜘蛛去/data/cache/ 目錄抓取，這個目錄有非常多的js，及css，沒有其它目錄，抓取js 與css 對SEO 有幫助是嗎？沒有幫助的話其用途為何？

上面第4行是請網路蜘蛛去/uc_server/data/avatar/ 目錄抓取，這個目錄裡面跟2. 一樣只有index.htm 及noavatar.svg 這兩個檔案，但還有一個000目錄，這個目錄裡面是一些會員頭像圖，跟1. 問題一樣，網路蜘蛛會抓會連同抓取子目錄嗎？

最後就是如果robots.txt 裡面沒有Allow，也沒有Disallow 的目錄及檔案，網路蜘蛛會如何處置？

謝謝

1 贡献

最佳答案

wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的子目錄
包括任意層級的子目錄和所有文件

• duckweed
• 发表于昨天 15:32
• 详细答案 >

duckweed

# 允許附件目錄（用戶上傳的內容可能有價值） Allow: /data/attachment/  # 禁止訪問快取和頭像目錄 Disallow: /data/avatar/ Disallow: /data/cache/ Disallow: /uc_server/data/avatar/  # 其他建議的禁止目錄 Disallow: /data/backup/ Disallow: /data/log/ Disallow: /data/tmp/ Disallow: /install/ Disallow: /config/ Disallow: /uc_server/data/cache/ Disallow: /uc_server/data/logs/

duckweed

1. # 允許附件目錄（用戶上傳的內容可能有價值）
   
2. Allow: /data/attachment/
   
3. 
   
4. # 禁止訪問快取和頭像目錄
   
5. Disallow: /data/avatar/
   
6. Disallow: /data/cache/
   
7. Disallow: /uc_server/data/avatar/
   
8. 
   
9. # 其他建議的禁止目錄
   
10. Disallow: /data/backup/
    
11. Disallow: /data/log/
    
12. Disallow: /data/tmp/
    
13. Disallow: /install/
    
14. Disallow: /config/
    
15. Disallow: /uc_server/data/cache/
    
16. Disallow: /uc_server/data/logs/

复制代码

附件目錄：用戶上傳的圖片/文件可能有價值，可以保留
頭像目錄：個人頭像對 SEO 無價值，且可能涉及隱私
快取目錄：臨時文件，無索引價值，浪費爬蟲配額
系統目錄：保護敏感信息和後台路徑

建議
使用 XML 網站地圖：明確告訴爬蟲哪些是重要頁面
檢查實際被索引的頁面：在 Google Search Console 查看
考慮用戶隱私：特別是頭像等個人信息

湖中沉

这都是标准规范，并不是DZ独有的，搜索一下基本就知道了

wish

duckweed 发表于 2026-1-20 14:40
附件目錄：用戶上傳的圖片/文件可能有價值，可以保留
頭像目錄：個人頭像對 SEO 無價值，且可能涉及隱私 ...

感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/attachment/ 是只同意網路蜘蛛抓取/data/attachment/這個目錄而已，或是連同該目錄下所有的目錄一併抓取？

duckweed

wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的子目錄
包括任意層級的子目錄和所有文件

湖中沉

wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...

除非有进一步的禁止命令，否则就是覆盖子级的

duckweed

wish 发表于 2026-1-20 15:23
感謝回覆，針對請網路蜘蛛去/data/attachment/ 目錄抓取，但是這個目錄下面還有很多目錄，Allow: /data/a ...

Allow: /data/attachment/
誤解：只允許目錄本身
錯誤理解：只允許訪問 http://example.com/data/attachment/（目錄列表頁）
實際情況：目錄下的所有內容都允許

限制訪問深度：
明確禁止子目錄
Allow: /data/attachment/
Disallow: /data/attachment/*/
# 這表示允許文件，但禁止子目錄

duckweed

事實上，作為一名 spider，是不會看和遵守這個協議的。採集的深度是看需求的程度，當然我也明白你這個協議是以後法律的依據

cockli

好的 知晓