百度蜘蛛怎会爬这个页面？

weincheng · 发表于 2023-9-5 11:09:23

大量的蜘蛛爬：/forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no，这样的页面，有没办法解决？

我知道答案回答被采纳将会获得1 贡献已有3人回答

湖中沉 · 发表于 2023-9-5 11:31:40

蜘蛛爬什么，咱控制不了，有些搜索引擎的蜘蛛是又傻又缺德

klg548 · 发表于 2023-9-15 23:56:41

我经常也碰到蜘蛛问题，实在也没有什么好办法？只能手工在服务器上屏蔽IP{:4_95:}
QQ截图20230915235011.jpg

ink · 发表于 2023-9-17 13:18:04

同样的问题遇到已经2年了，无解，反馈给百度，百度也没有具体说法；

其实这页面还算正常，有时还会收录不存在的页面，关键是discuz遇到这样不存在的页面全部显示为首页。

其实应该严谨一点：不存在的页面就应该返回404。

[求助] 百度蜘蛛怎会爬这个页面？