请选择 进入手机版 | 继续访问电脑版
查看: 818|回复: 4

discuz-redis 扩展 轻松快速分页 避免分页瓶颈 (更新DXEXTEND...

[复制链接]

51

主题

1141

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

贡献
2000 点
金币
1589 个
发表于 2022-4-20 15:13:50 | 显示全部楼层 |阅读模式
discuz-redis 扩展 轻松快速分页 避免分页瓶颈 (更新DXEXTEND框架版)

discuz-redis 扩展 轻松快速分页 避免分页瓶颈 (更新DXEXTEND框架版)

设计原理:

1、起因:
Discuz!X系列中,使用了SELECT * FROM pre_forum_thread WHERE fid=x AND displayorder IN ORDER BY xxx LIMIT x 这样的sql语句获取当前页的主题列表的。主题越多,翻页的数字越大,在mysql中就越容易出现慢查询,影响性能。表中只对回帖时间字段进行了索引,所以当使用发帖时间、回帖数、查看数排序查看翻页的时候,很容易出现慢查询。
由于上述原因,论坛中做了限制翻页的页数。官网上目前是能翻500页,一般论坛默认设置能翻1000页。

2、目标:
在使用redis特性的前提下解决如下2个问题:
1)、支持多种排序模式的翻页,不产生性能问题
2)、不限翻页数量,不产生性能问题。
3)、不会改动和破坏论坛mysql中的数据,实现相互兼容。

3、设计:
在redis中我为每个板块创建了一组sorted set。包括发帖时间集合、回帖时间集合、回帖数集合、浏览数集合。tid为值,排序条件为分数。每次翻页的时候,就在板块的对应集合中取得一组tid。然后再使用SELECT * FROM pre_forum_thread WHERE tid IN () 获取到帖子的其他数据。

(结构如附件图)

另外因为置顶数据的要求,在板块的每组集合中还加了一个一级置顶集合。在整个系统中加了一个fid集合。

4、代码实现:
工具:因为redis数据库需要初始化,所以单独提供了初始化工具
1)、初始化工具php版
2)、初始化工具py版
新增类:
1)、redis底层驱动类
2)、redis类
修改类:
1)、table_forum_thread 类
通过上述新增2个数据库类和修改一个主题表类就能实现设计中的功能。

五、结论:
目前通过测试能达到目标中的三项要求。
1)、四种主题列表排序方式,不管翻页到多少也,速度均在0.0x秒。
2)、在保证性能的前提下,可翻所有页。
3)、和mysql实现无缝兼容。不影响mysql中正式数据,在redis服务未启动的情况下自动切换到老的分页方式。



一、结构
init_tools 初始化程序
init_php.php
在使用discuz-redis扩展的时候,需要使用上述程序进行初始化redis数据库一次。php版、py版都行。
upload 需要上传到web目录的文件

二、使用前提
1、redis服务器,http://http://redis.io/
2、php-redis扩展,https://github.com/nicolasff/phpredis
3、DXEXTEND1.1.2beta以上,https://www.dismall.com/thread-12045-1-1.html

三、安装步骤
1、上传upload文件夹中的文件到论坛根目录
2、在 config/config_global.php 中增加如下配置
// -----------------------  CONFIG DISCUZ_REDIS  ------------------------ //
$_config['extend']['discuz_redis']['on'] = 1;
$_config['discuz_redis']['server'] = '127.0.0.1';
$_config['discuz_redis']['port'] = 6379;
$_config['discuz_redis']['pconnect'] = 1;
$_config['discuz_redis']['auth'] = '';
$_config['discuz_redis']['db'] = '0';

3、上述配置好后,修改init_php.php文件分别填写:
$mhost = '127.0.0.1'; mysql服务器地址
$muser = 'root'; mysql 用户名
$mpw = '';
mysql密码
$mdb = 'x25redis';
mysql中discuz数据库名
$rhost = '127.0.0.1'; redis地址
$rport = 6379;  redis端口
$_max_num_per_forum = 100000; 此项设置每个板块最多显示多少主题。如服务器内存足够,可填写较大的值,显示所有主题。

4、在服务器上执行init_php.php同步redis数据,例如/usr/local/php/bin/php /usr/local/src/init_php.php
按数据量大小大概遇到几十秒到几分种时间。建议在数据库服务器负载低的时候运行。

5、在Linux服务器上设置计划任务,每天半夜运行一次init_php.php文件保证redis数据同步。时间点可以自定,建议凌晨3点或者4点。

四、关闭与启动
$_config['extend']['discuz_redis']['on'] = 1;  1为启动,0为停止

五、注意事项
1,目前的版本不能和 innodb 插件一起用,这个问题会在下一版本中解决。2,该插件针对大数据大访问量,数据库压力比较大的站点,如果没有性能问题则不建议使用,维护redis需要比较专业的技术。如果盲目使用反而适得其反。

discuz-redis-dxextend.zip (7.93 KB, 下载次数: 52)

回复

使用道具 举报

22

主题

492

帖子

544

积分

Lord

Rank: 4

贡献
4 点
金币
21 个
发表于 2022-4-23 21:24:56 | 显示全部楼层
这个框架老早发布的,不知道X3.5还能用吗?
回复 支持 反对

使用道具 举报

224

主题

1142

帖子

1207

积分

King

Rank: 5Rank: 5

贡献
0 点
金币
5 个
发表于 2022-4-24 09:41:58 来自手机版 | 显示全部楼层
本帖最后由 ysx24 于 2022-4-24 10:08 编辑

刚开始我还以为技术新帖,心情澎湃的看完贴子后,返回列表发现一堆同类坟贴,不应该叫坟贴了,应该是考古级别尘封的历史,向前追溯的历史源远流长,管理大大正在锲而不舍的尝试发掘此版块文献记载,考古帖的发表逐渐酝酿中……楼主深刻领略越是远古越值钱,破旧的古董远比精美的现代物更有价值,楼主领略了真谛,并且带到了帖子当中,管理大大此版帖子古朴信息迎面而来,让我仿佛看见华夏五千年的历史沧桑

看了看管理大大此版块的其它帖子,有着新时代的我们,有些欣欣向荣的憧憬看到帖子瞬间感到三花聚顶,追忆大唐
-----
虽是调侃却无嘲讽之意,也无一字复制,全部手写,管理大大手下留情啊
回复 支持 反对

使用道具 举报

60

主题

182

帖子

218

积分

Conqueror

Rank: 3Rank: 3Rank: 3

贡献
0 点
金币
30 个
发表于 2022-4-24 22:27:53 | 显示全部楼层
直接用云数据库redis 可以吗  
在 config/config_global.php 直接配置云数据库 redisd 内网IP和密码

这样就可以用云数据库了 可以缓解压力

请问这样可以吗
学习使人进步
回复 支持 反对

使用道具 举报

51

主题

1141

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

贡献
2000 点
金币
1589 个
 楼主| 发表于 2022-4-25 00:54:57 | 显示全部楼层
sosoba 发表于 2022-4-24 22:27
直接用云数据库redis 可以吗  
在 config/config_global.php 直接配置云数据库 redisd 内网IP和密码

dz原本应该就能用吧
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

添加有偿服务QQ
添加有偿服务微信