返回列表 发帖
查看: 4844|回复: 5

[求助] 求助,关于百度云加速获取真实IP

9

主题

16

回帖

37

积分

初学乍练

贡献
0 点
金币
10 个
发表于 2020-6-23 01:23:45 | 显示全部楼层 |阅读模式


由于网站启用了百度云加速,现在装了蜘蛛记录插件 发现会有百度蜘蛛每秒好几次的高频繁的去抓取网站分类信息伪静态的地址(使用的1314分类信息伪静态插件),由于高速频繁的抓取 导致PHP解析过多 最终CPU接近爆满。访问卡顿。 关掉伪静态插件就可以缓解很多 但这不是最终解决方案。
想知道是百度站长平台那边的设置抓取频次压力过大,还是有人模仿百度蜘蛛进行攻击,但是百度云加速最近改变了策略,所有蜘蛛抓取网站内容都经过百度云加速的CDN节点进行回源,那么也就无法判断这些节点IP后的真实IP是否为百度的蜘蛛。
如图
111.png

这是apache访问日志记录的蜘蛛信息
101.227.207.54 - - [23/Jun/2020:00:00:42 +0800] "GET /thread-htm-fid-48-sortid-3-banben-6-jdfwkey-ug3vt3-yuyan-1-zuoyong-8.html HTTP/1.1" 200 19339 "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

经查证 确实是百度云加速的节点  如下图
2.png

下面是百度云加速客服给出的查看真实IP的解决方案

真实IP:为解决这个问题,可以通过在云加速转发的HTTP头信息中增加 X-Forwarded-For 信息,用于记录客户端的真实IP,这时web服务器的日志就可以使用 $http_x_forwarded_for变量记录远程客户端的真实IP。格式如下:
Nginx
'$http_x_forwarded_for - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" ';
Apache
格式如下:
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\""
ASP
Request.ServerVariables("HTTP_X_FORWARDED_FOR")
PHP
$_SERVER["HTTP_X_FORWARDED_FOR"]
JSP
request.getHeader("HTTP_X_FORWARDED_FOR")



问题来了,这个HTTP头信息中增加 X-Forwarded-For 信息怎么添加?

我尝试将这个apache加载到discuz后台-全局-seo信息-其他的头部信息里
如下图
23.png
这样以脚本的形式添加在这里   是没有用的,apache访问日志 还是显示的CDN节点的IP  并没有显示真实的蜘蛛IP  无法查证 是否为百度的真实蜘蛛,如果是百度真实蜘蛛 我就去站长平台反馈。
有大神知道如何添加这个HTTP头信息吗?  感谢!!!!
补充一下
还是放在 伪静态规则里??????????请赐教




——————————————————————————————————————————————————


后续更新 问题已解决

1.png

问题已解决,如果你是win系统 用的是apache  upupw环境包 可以在apache日志格式这里 添加红线处内容  日志会自动多出来一列IP为访客真实IP  第一列为CDN节点IP
添加内容 %{X-Forwarded-For}i     注意前后都有空格间隔
非常简单,至于其他软件 如宝塔有没有相关设置我不太清除。

2.png
但是这样分析日志就无法进行读取真实IP了。比如360星图 他只能分析第一列的CDN IP
可以在上面日志格式那里吧系统默认的最前面的%h删除  这样日志就可以只统计真实IP 从而让日志分析软件正常运行。





我知道答案 回答被采纳将会获得1 贡献 已有5人回答
回复

使用道具 举报

9

主题

151

回帖

281

积分

应用开发者

贡献
0 点
金币
103 个
发表于 2020-6-23 17:28:01 来自手机 | 显示全部楼层
CPU占用率过高有可能是其他原因。可以挨着关闭一下 插件进行排查
回复 支持 反对

使用道具 举报

18

主题

1819

回帖

2734

积分

应用开发者

贡献
50 点
金币
574 个
QQ
发表于 2020-6-23 18:01:33 | 显示全部楼层
插件 不支持判断cdn ip获取 找作者升级下
cpu满不一定是蜘蛛问题 多方面找看看问题 特别是日志排查
无限星辰工作室  好集导航 免费API
服务Discuz建站|定制|小程序|APP定制|故障维修|搬家|运维|挂马清理|防护|性能优化|安全运维|
服务理念:专业 诚信 友好QQ842062626 服务
回复 支持 反对

使用道具 举报

9

主题

16

回帖

37

积分

初学乍练

贡献
0 点
金币
10 个
 楼主| 发表于 2020-6-23 22:51:55 | 显示全部楼层
这是百度官方客户回复 的解决方案  目前CDN暂时没法完全去掉。
回复 支持 反对

使用道具 举报

75

主题

301

回帖

393

积分

炉火纯青

贡献
0 点
金币
0 个
QQ
发表于 2020-6-27 22:52:16 | 显示全部楼层
缓存粒度设置为基础就可以了。但这样会改不了用户图像,需把图像改为动态调用。完美解决
大渝传奇论坛(官方传奇)https://www.cqtieba.com
回复 支持 反对

使用道具 举报

1

主题

24

回帖

31

积分

初学乍练

贡献
0 点
金币
5 个
发表于 2020-6-28 13:52:54 | 显示全部楼层
https://www.hostarr.com/apache-mod_remoteip/
Apache 获取 CDN 后面访问用户的真实 IP
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 关注公众号
  • 有偿服务微信
  • 有偿服务QQ

手机版|小黑屋|Discuz! 官方交流社区 ( 皖ICP备16010102号 |皖公网安备34010302002376号 )|网站地图|star

GMT+8, 2024-4-14 12:47 , Processed in 0.054325 second(s), 9 queries , Redis On.

Powered by Discuz! W1.0 Licensed

Cpoyright © 2001-2024 Discuz! Team.

关灯 在本版发帖
有偿服务QQ
有偿服务微信
返回顶部
快速回复 返回顶部 返回列表