robots.txt 的問題

wish

湖中沉 发表于 2026-1-20 15:14
这都是标准规范，并不是DZ独有的，搜索一下基本就知道了

謝謝回覆，我有嘗試先搜尋答案，不過我搜尋到的都只寫同意收錄xx，不同意收錄xx，我是想知道是否包含該目錄下的子目錄。

wish

duckweed 发表于 2026-1-20 15:32
Allow: /data/attachment/ 這條規則：
允許抓取 /data/attachment/ 目錄本身
同時允許抓取該目錄下所有的 ...

感謝你的解答，我了解了。

wish

湖中沉 发表于 2026-1-20 15:34
除非有进一步的禁止命令，否则就是覆盖子级的

受教了:handshake

wish

再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網路蜘蛛會如何處置？謝謝

湖中沉

wish 发表于 2026-1-20 17:04
再請教，static 這個目錄，robots.txt 裡面既沒有Allow，也沒有Disallow，那網路蜘蛛會如何處置？謝謝 ...

没禁止一般默认为可访问。但这个里面都是静态资源，访问与否只在于页面效果，不影响收录

wish

湖中沉 发表于 2026-1-20 17:16
没禁止一般默认为可访问。但这个里面都是静态资源，访问与否只在于页面效果，不影响收录 ...

感謝你解惑，我了解了。