怎么获取动态地址

ysx24

论坛一些私密版块存放存放备份一些个人日常数据，工资款项、工人数据、贼眉鼠眼的隔壁老王最近动向、富婆通讯录以及邂逅可能性曲线图…………岛国雅蠛  ...
所以要求访问权限很高，但会不会被引擎抓取到
Robots设置了禁止抓取论坛版块，如：Disallow: /forum-149-1.html
是不是动态地址也需要进行设置？由于设置了伪静态，怎么获取动态地址

1 贡献

最佳答案

robots.txt不是绝对可靠。各家引擎的支持程度会有不同情况的可能。
把搜索引擎当游客来对待，不希望他看到的，就用游客的手段去处理。比如加密码才可见的帖子内容。

泄露隐藏的图片此类可能性是有人可能把你的图片地址直接引用到其他站点。别家站点被收录的时候，你的图片地址就可能被收录下来了。
做一下防盗链能起一定作用。

• mingkong
• 发表于2022-9-21 14:59:36
• 详细答案 >

天外飘仙

既然是私密, 游客肯定不允许访问的, 不允许游客访问的页面 蜘蛛是无法抓取的……

mingkong

搜索引擎只能以游客身份抓取内容，所以，只要加密码或者有权限才能访问的，搜索引擎也访问不了。
不过不排除里面的图片因特别原因外漏，被搜索引擎收录。

ysx24

天外飘仙 发表于 2022-9-21 07:31
既然是私密, 游客肯定不允许访问的, 不允许游客访问的页面 蜘蛛是无法抓取的…… ...

感谢，那是不是说如果版块或者看帖子要求登录禁止游客浏览，或者帖子有阅读权限要求，会影响seo

ysx24

mingkong 发表于 2022-9-21 11:08
搜索引擎只能以游客身份抓取内容，所以，只要加密码或者有权限才能访问的，搜索引擎也访问不了。
不过不排 ...

蜘蛛会不会不遵守协议爬取内容，监管机构又是通过什么手段获取「检测」』到那些隐藏的违规内容
比如图片视频字眼等

mingkong

robots.txt不是绝对可靠。各家引擎的支持程度会有不同情况的可能。
把搜索引擎当游客来对待，不希望他看到的，就用游客的手段去处理。比如加密码才可见的帖子内容。

泄露隐藏的图片此类可能性是有人可能把你的图片地址直接引用到其他站点。别家站点被收录的时候，你的图片地址就可能被收录下来了。
做一下防盗链能起一定作用。

ysx24

那么如果全站文章或帖子都设置的需要登录可见，是不是就是说全站的帖子都不会被蜘蛛爬到更不会被引擎抓取收录到

mingkong

要看页面title和页面介绍是否也被限制了。用游客看看你的限制页面，看看页头的SEO优化部分是否正常。