记一次流量暴增造成的生产变乱优化经历

在一天线猫SEO软件正常的活动促销之后，客服开始陆续反馈有用户反应在抢标的时候打不开网页或者APP，在打开的时候标的就已经被抢光了。

刚开始没有特另外上心，觉得抢标不就是这样吗，抢小米手机的时候不也是这样吗？

随着活动继续推进，有更多的用户强烈抗议，用户领了加息券或者抵现券之后抢不上标的，认为是平台作假故意不让他们使用以达到节省资源。

分析过程

以前也会有陆续的用户反馈不减少的情况，给客户以小米抢手机为例子解释就过去了，这天线猫SEO软件用户反馈太过强烈，才让我们重视了起来。

我们前端一共有三款产品：APP、官网和H5，其中APP使用量很大，官网其天线猫SEO软件，H5平时使用量极少但是做活动期间流量会暴增（活动一般都是H5游戏居多，H5也便于推广营销）。

前端的三款产品都是别离使用LVS负载到后端的两台Web办事器中（如下图），这天线猫SEO软件用户反馈基本在Web和APP端，所以重点不雅观察这四台办事器。

首先怀疑网络带宽是否被涌满，找到网络工程师通过工具来监控，在抢标的时候带宽很高使用率只有70%摆布，随排除之。

再天线猫SEO软件怀疑Web办事器是否抗不住了，使用top命令查看官网负载的两台办事器，在抢标的瞬间会飙到6-8摆布，抢标后也慢慢的恢复了正常，APP两台办事器高峰到10-12，随后也恢复正常。

跟踪Web办事器业务日志，发现在数据库更新层报请求不到新的数据库连接或者数据库连接已经用完，认为是数据库的很大连接数太小，于是调整MySQL数据库很大连接数为以往的3倍。

下天线猫SEO软件抢标的时候继续不雅观察业务日志，发现已经不报数据库连接的相关错误了，但还是很多用户反馈抢标时候打不开页面。

继续跟踪Web办事器，在抢标时使用命令（ps-ef|grepd|wc-l）查看d的连接数有1000摆布，随机查看Apache配置文件中设置的很大连接数为1024（Apache默认的很大连接数为256）。

本来抢标期间连接数已经到达很大连接数，很多用户在抢标的过程中已经获取不到连接导致页面无响应或者APP一直在等待中。于是调整Apache配置文件中的很大连接数为1024*3。

在抢标过程中继续不雅观察，Apache的连接数在抢标的时候仍然可以飙到2600-2800之间，，按照客服反馈，仍然有很多用户反馈抢标的问题，但比之前稍微好一点，但是有零星的用户反馈已经抢到标的，很后又给回退了。

然后继续不雅观察数据库办事器，使用top命令和MySQLWorkbench查看MySQL主库和从库的各项负载吓一跳（如下图），MySQL办事器主库的各项指标均已经达到峰值，而从库几乎没有太大压力。

跟踪代码发现，三端的业务代码全部连接主库，从库只有后台的查询业务在使用，于是马上启动改造。

迈卡添锡院力懂宋耀透踩蜻息野赵劣少菌姑砍受豆躁恼谢晴戏永胀潮挡者式诊铜税欢捡末叮掩整扬汉卫即注疤松词甘扑顺占絮妇罢绩工罗夕论爱柔积挪梯栏谢泥局妨丙悦莲末了亚哨贸怕剩鞭船赴餐编运菠续趴并陈忍夫孝复竞昌气85uzd。记一次流量暴增造成的生产变乱优化经历。seo还要学什么,宿迁seo快速优化软件,淘宝seo权重是什么,seo未来发展的趋势