民生银行信誉卡中心妄想值引擎项目背后的故事

2020年4月，，，，，，，，z6com尊龙项目团队接到了民生银行卡中心的垂危需要——在2020年6月16日上线中国民生银行信誉卡中心妄想值引擎项目。。。。。。。

妄想值是啥？？？？？？？？说白点就类似于积分的作用，，，，，，，，用户在民生银行信誉卡APP中通过做工作能够获得妄想值，，，，，，，，再用妄想值兑换商品。。。。。。。而我们掌管的这个妄想值引擎项目重要为妄想值提供服务接口、数据处置，，，，，，，，保障妄想值账务的正确性。。。。。。。

各人掐指一算，，，，，，，，这工期满打满算也只有1.5个月！并且这个项目对不变性、扩大性、机能等方面要求都极度严格，，，，，，，，同时要求7X24幼时线上运行，，，，，，，，真的是功夫太紧了，，，，，，，，工作太沉了！

怎么办？？？？？？？？在z6com尊龙科技技术宝宝的字典里就没佑装不成能」剽仨字儿，，，，，，，，那就撸起袖子加油干吧。。。。。。。

正本所有都在严重有序的推动中，，，，，，，，感触尽在把握，，，，，，，，直到民生银行信誉卡测试团队进行集成测试。。。。。。。

那是6月10日，，，，，，，，民生测试团队发现有时妄想值未能正常调增。。。。。。。

看到这个景象，，，，，，，，我内心咯噔一下，，，，，，，，做这行，，，，，，，，各人都知路妄想值的正确性是整个项主张根基！若是在出产上出现该问题，，，，，，，，很难在短功夫内解决，，，，，，，，后果将极度严沉！

但距离项目正式上线只剩6天，，，，，，，，我的心紧绷起来，，，，，，，，内心只剩下一个想头，，，，，，，，肯定要急剧找出原因，，，，，，，，解决这个问题！

但这个BUG最大的问题不在于它有多难解决，，，，，，，，而在于它是无意性的，，，，，，，，会不会复现、什么时辰复现都不知路，，，，，，，，底子无法正确定位。。。。。。。

我们项目组立即开会，，，，，，，，向测试团队相识测试场景，，，，，，，，猜测可能的各类原因。。。。。。。

z6com尊龙·(中国)官方网站

老韩说：会不会是网络问题，，，，，，，，网络有抖动？？？？？？？？
老刘说：是不是上游提供新闻有遗漏或者消费新闻有谬误？？？？？？？？调整妄想值出现问题？？？？？？？？
如此说：会不会是redis什么处所出现了问题？？？？？？？？
还有人猜测kafka、mysql、hbase或……出现什么问题？？？？？？？？

你一言我一语，，，，，，，，经过一番最大化的发散会商后，，，，，，，，我们达成一致，，，，，，，，思考到BUG的不确定性，，，，，，，，决定选取固然最耗时但却是最稳妥的排查规划，，，，，，，，从最源头起头逐步分段进行排查，，，，，，，，分析各类日志及监控源码。。。。。。。因而便出现了开头的那一幕，，，，，，，，各人都在严重地进行排查，，，，，，，，严兵秣马，，，，，，，，寻找BUG地点。。。。。。。

功夫一分一秒从前，，，，，，，，凌晨1点，，，，，，，，项目组根基定位了问题起源，，，，，，，，原来是由于统一账号有关的多条新闻放入kafka，，，，，，，，在挪用调增接口后，，，，，，，，第一条新闻获取redis锁后短功夫不开释，，，，，，，，而其他新闻跳逾期待期直接返回，，，，，，，，导致这些新闻迷失。。。。。。。

定位了问题，，，，，，，，各人内心都稍微松了一口气，，，，，，，，但丝绝不敢懈怠。。。。。。，，，，，，立即分头行动，，，，，，，，如此用自己半吊子的英文加上翻译软件起头翻英文版的redis官方手册，，，，，，，，老刘、老韩则分头查找redis锁机造、锁道理，，，，，，，，锁节造实现代码，，，，，，，，各人缜密共同。。。。。。。

凌晨3点，，，，，，，，如此终于从官方手册找到解决规划。。。。。。。我们将源代码批改（将redis锁的期待功夫设置为10s，，，，，，，，将锁的超不断间设置为20s）并自测实现后，，，，，，，，立即提交行方专业测试团队，，，，，，，，最终回归测试成功，，，，，，，，BUG美满解决，，，，，，，，直到这一刻，，，，，，，，各人悬着的那颗心才真正落了下来。。。。。。。

奋战一晚，，，，，，，，我们却困意全无，，，，，，，，心中充斥了苦战一场、大获全胜的爽性，，，，，，，，脱离项目组已是凌晨4点多，，，，，，，，新的一天即将到来。。。。。。。

6月16日，，，，，，，，终于迎来了该项目成功上线，，，，，，，，不仅美满顶住了616活动峰值压力，，，，，，，，也展示出了优越的机能，，，，，，，，我们项目组获得了行方有关辅导的高度表彰，，，，，，，，对我们来说，，，，，，，，这不仅是对z6com尊龙科技项目服务能力的认可，，，，，，，，更是对我们z6com尊龙人拼搏心灵的一种认可！

后续：

后来幼编再次问闵工，，，，，，，，在这次事务中，，，，，，，，让他印象最深的是什么。。。。。。。他说：那注定是z6com尊龙组员群策群力，，，，，，，，共同战胜难题的样子呀，，，，，，，，那一刻各人没有一幼我有感情、有抱怨，，，，，，，，健忘功夫、健忘困倦，，，，，，，，只是单纯地奔着问题、解决问题，，，，，，，，这也是各人最美的样子……

柴静在《看见》里面曾说：“每一个微笑的背后，，，，，，，，都有一个咬紧牙关的魂灵。。。。。。。”