MySQL运维设计实战：36小时崩溃到稳如磐石

文章配图，仅供参考

　　当时第一反应是冲进机房，结果被冷风扑了满脸——空调开得太足，低频噪音震得耳朵发麻。我蹲在机柜前敲命令，对讲机里传来运维小哥带着哭腔的声音：“哥，我原以为只是网络抖动，结果发现是交换机端口被洪水攻击了，现在连SSH都连不上！”我盯着屏幕上的`SHOW PROCESSLIST`，心里直骂娘：平时监控里好好的，关键时刻连个错误日志都没留，这他妈叫“覆盖了”？

　　最绝的是恢复流程——我原以为按预案切备库就行，结果备库的binlog早被误删过，主备同步早就断了。这时候总监的电话又来了，隔着听筒都能闻到他嘴里的烟味：“MTTR必须控制在两小时内，否则SLA扣光！”我盯着墙上挂的“稳如磐石”横幅，心想这横幅怕不是用豆腐渣做的。

　　后来是怎么搞定的？说出来你们可能不信——我们直接把业务流量切到了测试环境的MySQL，那台机器平时连查询都少，结果硬撑了三十六小时。这期间我带着团队干了三件事：第一，把所有监控指标重新撸了一遍，发现之前设的阈值全是废物（比如连接数警报设在一千，实际崩溃时连接数才八百）；第二，把主备切换的脚本加了三重校验，防止再出现“备库其实没备”的乌龙；第三，把运维小哥的权限收了一半——他之前居然能直接删binlog，这比让实习生改生产配置还危险。

　　但最让我感慨的是“优胜劣汰”这四个字。那三十六小时里，我们砍掉了五个历史遗留的慢查询，优化了三个索引，还把一个总拖后腿的存储过程重写了。事后复盘时，总监拍着桌子说：“要是平时就把这些烂代码清了，哪用得着临时抱佛脚？”我点头如捣蒜，心里却想：平时谁敢动这些代码？开发说“别改，万一出问题”，测试说“没测试用例”，产品说“先保证上线”——最后全堆在MySQL头上，等崩溃了才想起来“优胜劣汰”。

　　对了，那天恢复后，我去食堂吃饭，发现剩饭里居然有块排骨——平时早被抢光了。运维小哥坐在我对面，边啃排骨边说：“哥，我以后改行做DBA算了，至少崩溃了能啃排骨。”我白了他一眼：“你先把交换机端口的防护学好再说。”他嘿嘿一笑，嘴里塞得鼓鼓的，像只仓鼠。

　　现在回头看，那三十六小时像场荒诞剧——监控形同虚设，预案全是漏洞，团队互相甩锅，最后靠测试环境的MySQL和一块排骨撑了过来。但要说“稳如磐石”，我倒觉得这词得拆开看：“稳”是靠优胜劣汰砍出来的，“磐石”是靠无数次崩溃砸出来的。就像我桌上的那杯咖啡，平时喝着苦，崩溃时喝着反而甜——因为你知道，这杯喝完，还得去修下一台挂掉的MySQL。

　　至于那台撑了三十六小时的测试环境MySQL？后来我们给它颁了个奖，奖状上写着“最佳临时工”。现在它还挂在机房的墙上，和“稳如磐石”的横幅并排——每次路过，我都忍不住想：要是下次崩溃，它还能撑多久？

　　（哦对了，那台交换机的端口后来我们换了厂商，新设备连对讲机的信号都不干扰了——至少运维小哥哭的时候，我能听清他在说啥。）

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!