网站设置登陆后才可访问后可以阻止自动化的爬虫吗？

blockjj · 发表于 2024-2-5 18:24:58

比如我用DZ论坛程序

后台设置需要登陆后才可访问

用户打开网站的时候只能输入账号密码登陆后才可以访问论坛内容

那么问题来了，这个办法能阻止自动化的爬虫蜘蛛吗？比如百度蜘蛛

我不想网站内容被爬虫爬到

呃这个问题可能和DZ关系不大，真的是想求教。。

我知道答案回答被采纳将会获得1 贡献已有8人回答

科站网 · 发表于 2024-2-5 19:08:19

可以，如果有第三方登录插件可以看https://addon.dismall.com/plugins/tshuz_forbitguest.html

无名指 · 发表于 2024-2-5 20:31:32

我晕，发一个求助贴子，三天了，一直不审核通过。

天外飘仙 · 发表于 2024-2-6 09:41:16

可以的!
你都说需要登录才能查看了! 蜘蛛是不会去自动注册账号密码登录的……

blockjj · 发表于 2024-2-6 11:29:02

天外飘仙发表于 2024-2-6 09:41
可以的!
你都说需要登录才能查看了! 蜘蛛是不会去自动注册账号密码登录的…… ...

我以为蜘蛛的访问机制和咱们普通用户不一样
玩意蜘蛛能绕过去呢

天外飘仙 · 发表于 2024-2-6 11:48:40

blockjj 发表于 2024-2-6 11:29
我以为蜘蛛的访问机制和咱们普通用户不一样
玩意蜘蛛能绕过去呢

蜘蛛能绕过去那还得了……

blockjj · 发表于 2024-2-7 08:55:04

天外飘仙发表于 2024-2-6 11:48
蜘蛛能绕过去那还得了……

万一能绕过去呢？比如长城防火墙

天外飘仙 · 发表于 2024-2-7 19:58:26

blockjj 发表于 2024-2-7 08:55
万一能绕过去呢？比如长城防火墙

没有万一!

mingkong · 发表于 2024-2-7 23:36:21

设置为登录后才可见对普通的爬虫应该有用。
但是如果有人针对性的想爬你的站点，势必会使用账号登录后来爬取。
对于这种情况就要另外想法了。

[求助] 网站设置登陆后才可访问后可以阻止自动化的爬虫吗？