求助！关于分类信息修改变量名后蜘蛛抓取链接问题

dm360

求助！关于分类信息修改变量名后蜘蛛抓取链接问题
域名/66-sortid-4-a0-2-b3-24-b4-7.html 精简变量名称后的链接
域名/66-sortid-4-a0-2-b3-24-b4-7-fenlei-41-geshi-8-render-2-xingzhi-2-page-7.html  蜘蛛抓取的链接：在上方真是链接后增加了一部分以前没修改变量名时候的旧的变量名。蜘蛛一直爬这种新变量+已经不存在的旧变量的组合链接，怎么让他抓取正确的链接呢(第一个链接)？



疑问：是discuz的数据库啥的  在分类信息的变量名修改过后还会残留旧变量名在库里？导致蜘蛛抓取错误的链接？ 还是其他的什么原因啊？
求大神来解答一下 ，万分感激！

1 贡献

最佳答案

dm360 发表于 2022-8-8 13:36
那除了301   从根源上无法解决这个问题了吗？到底是dz本身问题，还是蜘蛛历史爬行记忆问题呢？ ...

蜘蛛爬行记忆问题； 最好是301重定向一下； 不做301 以后蜘蛛应该也会慢慢的改过来，毕竟 已经没有 旧链接的 入口了

• 天外飘仙
• 发表于2022-8-8 15:07:06
• 详细答案 >

天外飘仙

建议做一下 301重定向呢； 批量将旧链接  301跳转到 新链接 就可以了

dm360

天外飘仙 发表于 2022-8-7 08:51
建议做一下 301重定向呢； 批量将旧链接  301跳转到 新链接 就可以了

这个不太好做的，分类信息里有好几层参数，每一层都有好多个变量，组合起来少则几千多则几万条链接。毕竟分类信息筛选是可以自由组合筛选的么。
这几千上万的链接 ，做301规则太难了，因为规则本身就不好写。组合方式太复杂了。

天外飘仙

dm360 发表于 2022-8-7 21:32
这个不太好做的，分类信息里有好几层参数，每一层都有好多个变量，组合起来少则几千多则几万条链接。毕竟 ...

规则 要用正则匹配的……
涉及 几千万链接 都不是问题的……如果你不懂正则的话 就花钱雇人帮你写吧;

dm360

天外飘仙 发表于 2022-8-8 07:25
规则 要用正则匹配的……
涉及 几千万链接 都不是问题的……如果你不懂正则的话 就花钱雇人帮你写吧;
...

那除了301   从根源上无法解决这个问题了吗？到底是dz本身问题，还是蜘蛛历史爬行记忆问题呢？

天外飘仙

dm360 发表于 2022-8-8 13:36
那除了301   从根源上无法解决这个问题了吗？到底是dz本身问题，还是蜘蛛历史爬行记忆问题呢？ ...

蜘蛛爬行记忆问题； 最好是301重定向一下； 不做301 以后蜘蛛应该也会慢慢的改过来，毕竟 已经没有 旧链接的 入口了

dm360

天外飘仙 发表于 2022-8-8 15:07
蜘蛛爬行记忆问题； 最好是301重定向一下； 不做301 以后蜘蛛应该也会慢慢的改过来，毕竟 已经没有 旧链 ...

已经改了好几个月了 ，蜘蛛还是没变过来，是所有的蜘蛛，百度 bing sougou 谷歌 等等 都是这样的，很难不怀疑，难道所有的蜘蛛都有记忆问题？不会自动抓取新的链接吗、。

天外飘仙

dm360 发表于 2022-8-8 15:22
已经改了好几个月了 ，蜘蛛还是没变过来，是所有的蜘蛛，百度 bing sougou 谷歌 等等 都是这样的，很难不 ...

主动 提交一下 新链接 给蜘蛛 试试呢

dm360

天外飘仙 发表于 2022-8-8 17:07
主动 提交一下 新链接 给蜘蛛 试试呢

试过了 没有用 连续试了一星期 后面依然是抓取错误的组合链接。