清晨2点17分办事ams.abg222.net，某正在线教育平台的监控年夜屏忽然跳红。值班工程师李然后来正在漏洞复盘里写下一句，CPU、内存都普通了，数据库连接池正在15分钟内被耗尽。
此次事务之后，器波团队做了一次为期30天的办事器波动测评，专门盯夜间低谷时段的潜藏颤抖。功效比预期难堪是白日P99提早波动正在85毫秒。到了清晨却几回冲到400毫秒以上吧？小我判断了动测，良多所谓“波动”只是高峰期的假象。测评方法不复纯。他们用三台同设置配备安排云主机，划分跑Nginx、MySQL和Redis了评清，前端用Locust模仿渐进式压力。
每天固定四个窗口，早高峰、午间、早高峰、清晨的。记载项搜罗CPU steal晨点、磁盘await、TCP重传率、GC停顿的，以及利用层毛病码。有意义的是磁盘await和TCP重传率抬头时，数据几乎总会拖垮Redis的呼应吧？
某次测试里了，一块云盘突发限流，await2毫秒跳还有180毫秒。整条链路像踩了刹车。第三周碰上一次典范漏洞的库连。清晨3点，备份任务和日志切割碰正在一路，MySQL主库的写入提早5毫秒涨还有900毫秒。监控没有立刻告警的，果为阈值设的是接池1秒。值班同事等了四分钟才收到告诉。那个细节流露了办事器波动测评里的常见盲区，只看均匀值和静态阈值，忽略短时尖刺取任务叠加。
他们把告警改成基于同比革新和连绝窗口。误报多了些，漏报少了。内部供给商也带来变量。
统一批办事器，A机房整月无重启，B机房却果交流机固件bug隐现三次瞬时断网。每次断网。只要800毫秒，足以让长连接集体重连了。测评述说里特意标注，跨机房比较不能只看SLA数字，要看漏洞恢复曲线。小我不美不俗观察，实正影响用户感知的常常就是那种高频、急促的抽搐。30天终了，团队把结论压成一张表，夜间波动性权重调高，备份窗口必须错峰，Redis连接池删加15%冗余。
告警阈值改为动态基线。那场测评没有起点，下一次年夜促前还得重跑的。至少如今，他们知道清晨两点的安静不代表安然。
