返回列表 发帖
查看: 47|回复: 3

[求助] 问个seo问题,为什么百度蜘蛛一直在抓去大量的TAG页和会员的资料页,没有抓取帖子页和板块页

8

主题

11

回帖

26

积分

初学乍练

贡献
0 点
金币
5 个
发表于 昨天 15:44 | 查看全部 |阅读模式
网站地图里没有TAG页和会员的资料页,理解不了
我知道答案 回答被采纳将会获得1 贡献 已有3人回答
回复

使用道具 举报

123

主题

1006

回帖

1347

积分

已臻大成

贡献
18 点
金币
17 个
QQ
发表于 昨天 15:51 | 查看全部
我的理解是:聚合,TAG聚合了帖子,个人资料里面包含个人的主题。
回复

使用道具 举报

31

主题

6151

回帖

1万

积分

应用开发者

贡献
634 点
金币
1444 个
QQ
发表于 昨天 19:38 | 查看全部
百度的蜘蛛,是最蠢和最不守规则的。
另外,当下AI时代,好多AI数据抓取是用的这类蜘蛛来抓,他们要抓大量索引,正如上面说的,tag和个人资料里,都有大量索引数据
回复

使用道具 举报

14

主题

560

回帖

771

积分

自成一派

贡献
30 点
金币
29 个
发表于 昨天 22:37 | 查看全部
蜘蛛就是乱爬。这和他收录不收录没关系
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 关注公众号
  • 有偿服务微信
  • 有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

GMT+8, 2025-11-8 05:18 , Processed in 0.041839 second(s), 9 queries , Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯 在本版发帖
有偿服务QQ
有偿服务微信
返回顶部
快速回复 返回顶部 返回列表