2009年,在微波技术的故乡——米兰,我们的微波产品遇到了关键时刻:继微波产品在B运营商成功测试之后,微波产品开始了A运营商的摸底测试,摸底测试通过了,才能进入准入测试。该测试非常重要。第一、我们已经在A运营商的C国子网签下几千万美元的合同了,必须准入测试通过,该合同才能实施;第二、意大利是微波技术的发源地,测试的品牌作用非常强,将直接辐射到其他的大T及相应的子网。
对我们执行摸底测试的客户是个有20年微波经验的老专家,对设备的测试近乎苛刻,亲自动手操作,每条网管告警都仔细观察。在摸底测试中,他发现设备出现倒换后业务不通等严重问题,这些问题会阻塞后续的准入测试,所以客户终止了测试。同时,对我们微波产品有些设计不能理解,需要能面对面作出解释澄清。为了重新挽回A运营商对微波产品的信心,并且要通过接下来的准入测试,我被派往米兰。
初到米兰
5月14日上午到达米兰,地中海气候令人舒适,心中期待此次测试也像天气一样惬意。
接待我的是行销的小吴,他主要负责地区部的销售,负责这个项目的合同。算上我,有四名中方员工在欧研所的A运营商测试现场参与回归测试和问题交流,小路负责系统测试,小刘负责射频测试,老宋负责澄清微波接口部分,我负责澄清业务处理部分。
本地员工和客户约好,下周一、二两天和客户在实验室,一边回归问题,一边对设计进行澄清解释。于是大家就对周一、二的议程开始讨论,对任务做分工,然后分头开始准备。我负责准备的微波产品的某些设计和接口问题解释等几个胶片,由于客户不是数据的专家,我们的胶片上必须浅显易懂,多用图片,少用文字和专业术语,所以我就重新刷新修改了胶片。
客户回归测试的主要项目,一个是倒换,另一个就是某功能。现场测试的小路和小刘每次倒换的自测试要进行上百次,从中摸索其中的现象和规律,并对深圳发过来的部件逐一筛选,挑选出指标最好的部件用于回归测试。两人每天都工作到半夜,周六、周日也不例外。
惊心动魄的第一天
周一是紧张而重要的一天,在成都软件园的镜像实验室和米兰的回归测试实验室同步进行;同时两边电话一直在线,米兰随时把一线测试的情况通报给国内同事。
测试的开始验证某告警,然后是验证某功能。那位老专家仔细看着网管上的每一条告警,由于我们设备的告警出现和消失都在掌控之中,加上我们的解释交流,前面两个测试项顺利通过。紧接着是验证某板倒换功能,老专家还是自己亲自动手,测试过程中,不允许我们来动设备。他每动手一次,我们神经都跟着紧张一次,生怕出现意想不到的现象。
不期望发生的事情还是发生了,业务出现了一次不该出现的瞬断,瞬断时间几十毫秒左右,老专家那老花镜后敏锐的眼睛,捕捉到了这几十毫秒的异常。这个瞬断我们在前几天的预测试中没有发现,因为老专家的倒换方法和我们的不一样,他是正常的操作,我们前几天太关注异常操作却忽视了正常操作。
问题已经出现,大家只能一边跟客户解释,一边和成都镜像实验室通报情况,分析的结果是某芯片的缺陷,这个问题早已经发现,芯片的供应商说通过补丁已经解决了这个问题,我们在验证芯片的补丁时唯独没有验证到这种情况,所以在这次A运营商测试中暴露出来。只能跟老专家如实的说明这个问题的原因,老专家又重新测试了几次该问题,问题每次测试现象的一致的,老专家将此问题记录在案,认为该问题不会影响后面的其他测试项目,测试继续进行。下午某功能测试,也是边测试边沟通,顺利通过。终于度过了惊心动魄的第一天。
“轻松如意”的第二天
第二天上午第一个议程是我做某设计的讲解。客户虽然是微波技术出身,当前面临IP化转型,所以对分组特性非常关心。我这次准备的胶片主要讲解分组特性如何在微波产品上使用,如何将微波特性和分组特性有机的结合起来,某设计在微波产品中使用等等。过程中,客户有时会用意大利语提问,本地员工就用我们事先沟通过的答案来回答客户。最后客户表示了解了我们微波产品丰富的数据特性,要求我们交流后把胶片发给他们,他们再详细的了解一下。
接下来的测试是主备拔板倒换测试,每次倒换的中断时间都有规定,每次倒换后插回备板都不影响业务,这个结果符合预期。只是每次插回备板时,备板从主板同步数据要花几分钟左右,反复倒换几次后,客户认为没有问题,就通过了。最后的项目是演示某功能,演示很成功,起到锦上添花的作用。
所有项目过完后,我们和客户一起讨论产品测试用例,在会上,老专家接到他主管的电话,咨询这两天的测试情况,他说没有遇到阻碍后续测试的严重问题,对设计的讲解也很理解。主管当即在电话中表示:“下周一开始后续的测试。”我们听到这个结论,紧张的神经终于松弛下来。我们立刻通知成研所一直守在镜像实验室的兄弟们这个好消息,他们终于可以暂时回去休息一下了。
送走客户,欧研所一名未参与测试的本地员工跟我们说,这个时间,应该是我们跳舞庆祝的时刻了。这位老兄哪里知道,在这庆祝的背后,是镜像实验室兄弟们反复测试并和一线无时差的同步,还有一线测试兄弟每天搞到十二点的问题预测和部件筛选。
经验和教训
这次回归测试和设计讲解,让我从中感受到微波产品兄弟们的全力投入和付出,同时也感到我们的不足。
那个芯片问题,说明我们的自测试中覆盖的场景还不全,被客户测试出来,还没有什么规避措施,有点措手不及。所以不管是产品版本测试,还是芯片测试,对于测试的场景一定要经过详细评审和讨论,能够把场景覆盖全,对于无法解决的问题,提前准备好规避措施。
文/李晓东