DZ论坛SEO蜘蛛爬行问题。

qq3853383 · 发表于 2023-7-20 23:28:51

帮忙看下这个如何处理，规则要怎么写才能让蜘蛛不访问这些链接，每天各大搜索引擎的蜘蛛就关爬这些链接都上千条。

我感觉这爬的让我各项搜索引擎被降权了，收录，牵引都停止了。。大佬帮帮忙，这个问题还是挺严重的。

QQ截图20230720232310.png

我知道答案回答被采纳将会获得1 贡献已有4人回答

celover · 发表于 2023-7-21 08:10:40

这估计是假蜘蛛，伪装的

天外飘仙 · 发表于 2023-7-21 09:26:21

先看你服务器负载是否高；服务器负载不高的话可以不予理会！

如果你的服务器是按量付费的……可以看看这些ip是不是假蜘蛛，是的话屏蔽一下就行了

amw123456789 · 发表于 2023-8-7 10:51:46

celover 发表于 2023-7-21 08:10
这估计是假蜘蛛，伪装的

40.77.167.48

52.167.144.157

这俩是真蜘蛛吗，每天抓我的网站

龙二哥 · 发表于 2023-8-7 16:55:53

看网站日志分析。

[求助] DZ论坛SEO蜘蛛爬行问题。