关于爬虫问题，大佬有教的吗？

PandaKiller

百度经常抓
xxxx.cn/?1

而不是抓这种。。。
xxxx.cn/space-uid-1.html
xxxx.cn/space-username-“用户名”.html

怎么办哦。。 这样无所谓？还是？？
我没有屏蔽加这个 Disallow: /space-*   
新站。。

我知道答案 回答被采纳将会获得1 贡献 已有1人回答

allthebest

地球人都知道，论坛要增加注册用户靠帖子，只有傻瓜才认为个人主页、个人空间收录最重要。