当前位置:首页 > 公众号精选 > 架构师社区
[导读]来源:https://segmentfault.com/a/1190000018075241前言这篇文章的主题是记录一次程序的性能优化,在优化的过程中遇到的问题,以及如何去解决的。为大家提供一个优化的思路,首先要声明的一点是,我的方式不是唯一的,大家在性能优化之路上遇到的问题都绝...

来源:https://segmentfault.com/a/1190000018075241
前言


这篇文章的主题是记录一次程序的性能优化,在优化的过程中遇到的问题,以及如何去解决的。


为大家提供一个优化的思路,首先要声明的一点是,我的方式不是唯一的,大家在性能优化之路上遇到的问题都绝对不止一个解决方案。


如何优化


首先大家要明确的一点是,脱离需求谈优化都是耍流氓。所以,有谁跟你说在 xx 机器上实现了百万并发,基本上可以认为是不懂装懂了,单纯的并发数完全是无意义的


其次,我们优化之前必须要有一个目标。需要优化到什么程度,没有明确目标的优化是不可控的。再然后,我们必须明确的找出性能瓶颈在哪里,而不能漫无目的的一通乱搞。


需求描述


这个项目是我在上家公司负责一个单独的模块。本来是集成在主站代码中的,后来因为并发太大,为了防止出现问题后拖累主站服务,所有由我一个人负责拆分出来。


对这个模块的拆分要求是,压力测试 QPS 不能低于 3 万,数据库负责不能超过 50%,服务器负载不能超过 70%,单次请求时长不能超过 70ms,错误率不能超过 5%。


环境的配置如下: 


  • 服务器:4 核 8G 内存,CentOS 7 系统,SSD 硬盘 
  • 数据库:MySQL 5.7,最大连接数 800 
  • 缓存:Redis,1G容量。以上环境都是购买自腾讯云的服务。
  • 压测工具:Locust,使用腾讯的弹性伸缩实现分布式的压测。

需求描述如下:
  1. 用户进入首页,从数据库中查询是否有合适的弹窗配置。
  2. 如果没有,则继续等待下一次请求、如果有合适的配置,则返回给前端。
这里开始则有多个条件分支
  • 如果用户点击了弹窗,则记录用户点击,并且在配置的时间内不再返回配置;
  • 如果用户未点击,则24小时后继续返回本次配置;
  • 如果用户点击了,但是后续没有配置了,则接着等待下一次。

重点分析


根据需求,我们知道了有几个重要的点:
  • 需要找出合适用户的弹窗配置,
  • 需要记录用户下一次返回配置的时间并记录到数据库中,
  • 需要记录用户对返回的配置执行了什么操作并记录到数据库中。

调优


我们可以看到,上述三个重点都存在数据库的操作,不只有读库,还有写库操作。
从这里我们可以看到,如果不加缓存的话,所有的请求都压到数据库,势必会占满全部连接数,出现拒绝访问的错误。同时因为 SQL 执行过慢,导致请求无法及时返回。
所以,我们首先要做的就是将写库操作剥离开来。提升每一次请求响应速度,优化数据库连接。
整个系统的架构图如下:
记一次性能优化,单台4核8G机器支撑5万QPS
将写库操作放到一个先进先出的消息队列中来做。为了减少复杂度,使用了 Redis 的 list 来做这个消息队列。

然后进行压测,结果如下:
  • QPS 在 6000 左右 502 错误大幅上升至 30%;
  • 服务器 CPU 在 60%-70% 之间来回跳动;
  • 数据库连接数被占满 TCP 连接数为 6000 左右。

很明显,问题还是出在数据库
经过排查 SQL 语句,查询到原因就是:找出合适用户的配置操作时每次请求都要读取数据库所导致的连接数被用完。
因为我们的连接数只有 800,一旦请求过多势必会导致数据库瓶颈。好了,问题找到了,我们继续优化。
更新的架构如下:
记一次性能优化,单台4核8G机器支撑5万QPS
我们将全部的配置都加载到缓存中,只有在缓存中没有配置的时候才会去读取数据库。

接下来我们再次压测,结果如下:
  • QPS 压到 2 万左右的时候就上不去了;
  • 服务器 CPU 在 60%-80% 之间跳动;
  • 数据库连接数为 300 个左右,每秒 TCP 连接数为 1.5 万左右。

这个问题是困扰我比较久的一个问题。因为我们可以看到,我们 2 万的 QPS,但是 TCP 连接数却并没有达到 2 万
我猜测,TCP 连接数就是引发瓶颈的问题,但是因为什么原因所引发的暂时无法找出来。
这个时候猜测,既然是无法建立 TCP 连接,是否有可能是服务器限制了 socket 连接数。
验证猜测,我们看一下,在终端输入 ulimit -n 命令,显示的结果为 65535。看到这里,觉得 socket 连接数并不是限制我们的原因,为了验证猜测,将 socket 连接数调大为100001。
再次进行压测,结果如下:
  • QPS 压到 2.2 万左右的时候就上不去了;
  • 服务器 CPU 在 60%-80% 之间跳动;
  • 数据库连接数为 300 个左右,每秒 TCP 连接数为 1.7 万左右。

虽然有一点提升,但是并没有实质性的变化。
接下来的几天时间,我发现都无法找到优化的方案。那几天确实很难受,找不出来优化的方案,过了几天再次将问题梳理了一遍,发现虽然 socket 连接数足够,但是并没有全部被用上。猜测每次请求过后,TCP 连接并没有立即被释放,导致 socket 无法重用。
经过查找资料,找到了问题所在:
TCP 链接在经过四次握手结束连接后并不会立即释放,而是处于 timewait 状态。会等待一段时间,以防止客户端后续的数据未被接收。
好了,问题找到了,我们要接着优化。
首先想到的就是调整 TCP 链接结束后等待时间。但是 Linux并没有提供这一内核参数的调整,如果要改必须要自己重新编译内核。幸好还有另一个参数net.ipv4.tcp_max_tw_buckets, timewait 的数量。默认是 180000。我们调整为6000。然后打开 timewait 快速回收和开启重用。
完整的参数优化如下:
#timewait 的数量,默认是 180000。net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
#启用 timewait 快速回收。net.ipv4.tcp_tw_recycle = 1
#开启重用。允许将 TIME-WAIT sockets 重新用于新的 TCP 连接。net.ipv4.tcp_tw_reuse = 1我们再次压测,结果显示:

  • QPS 5万,服务器 CPU 70%;
  • 数据库连接正常,TCP 连接正常;
  • 响应时间平均为 60ms,错误率为 0%。

结语


到此为止,整个服务的开发、调优、和压测就结束了。回顾这一次调优,得到了很多经验。最重要的是,深刻理解了Web 开发不是一个独立的个体,而是网络、数据库、编程语言、操作系统等多门学科结合的工程实践。这就要求 Web 开发人员有牢固的基础知识,否则出现了问题还不知道怎么分析查找。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭