如何屏蔽谷歌爬虫搜索，及其它搜索爬虫？

klg548

如何屏蔽谷歌爬虫搜索，及其它搜索爬虫？有没有什么插件可以控制的，爬虫太平凡爬去给服务器好大压力？

1 贡献+1 金币

最佳答案

可以利用.htaccess设置搜索引擎屏蔽，例如：

1. SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
   
2. Deny from env=bad_bot

复制代码

不同的搜索引擎蜘蛛用竖线|分隔

• 人工智能实验室
• 发表于2023-5-31 14:59:50
• 详细答案 >

人工智能实验室

可以利用.htaccess设置搜索引擎屏蔽，例如：

1. SetEnvIfNoCase User-Agent "pyspider|Applebot|Apache-HttpClient|CCBot|Abonti|aggregator|AhrefsBot|YisouSpider|BLEXBot|DotBot|YandexBot|trendictionbot|MagiBot|Exabot|ScooperBot|YandexImages|SemrushBot|MJ12bot|startmebot|ltx71|DuckDuckGo|IndeedBot|SEOkicks|GrapeshotCrawler|crawler4j|Pinterestbot|StormCrawler|StormCrawler|paracrawl|StormCrawler|GrapeshotCrawler" bad_bot
   
2. Deny from env=bad_bot

复制代码

不同的搜索引擎蜘蛛用竖线|分隔

人工智能实验室

上面的是常见的一些垃圾蜘蛛，可以拿来即用，谷歌对应的代码为 Googlebot 可以自己添加进去！

手机之狼

人工智能实验室 发表于 2023-5-31 15:01
上面的是常见的一些垃圾蜘蛛，可以拿来即用，谷歌对应的代码为 Googlebot 可以自己添加进去！ ...

请问AspiegelBot代码是什么？让AspiegelBot骚扰的受不了。

文強

手机之狼 发表于 2023-5-31 17:16
请问AspiegelBot代码是什么？让AspiegelBot骚扰的受不了。

qwexiamen

robots.txt放根目录 你可以去搜下写法 比较简单 User-agent: Googlebot Disallow: /