问个seo问题，为什么百度蜘蛛一直在抓去大量的TAG页和会员的资料页，没有抓取帖子页和板块页

梅姐 · 发表于昨天 15:44

网站地图里没有TAG页和会员的资料页，理解不了

我知道答案回答被采纳将会获得1 贡献已有3人回答

一定 · 发表于昨天 15:51

我的理解是：聚合，TAG聚合了帖子，个人资料里面包含个人的主题。

湖中沉 · 发表于昨天 19:38

百度的蜘蛛，是最蠢和最不守规则的。
另外，当下AI时代，好多AI数据抓取是用的这类蜘蛛来抓，他们要抓大量索引，正如上面说的，tag和个人资料里，都有大量索引数据

babyfacer · 发表于昨天 22:37

蜘蛛就是乱爬。这和他收录不收录没关系

[求助] 问个seo问题，为什么百度蜘蛛一直在抓去大量的TAG页和会员的资料页，没有抓取帖子页和板块页