作者 | 华为雅万高铁项目组
来源 | 心声社区、蓝血研究(lanxueyanjiu)
投稿 | lanxueziben(微信)
顾问招聘 | lanxueziben(微信)
综合测试车辆第一次出库留念
2023年10月,雅万高铁开通运营。这条高铁连接印度尼西亚首都雅加达和第四大城市万隆,是中国高铁全系统、全要素、全产业链走出国门“第一单” ,也是东南亚地区的第一条高铁。华为参与了雅万高铁通信系统的建设,保障了高铁如期成功开通,助力“千岛之国”印尼进入高铁时代。
客户与华为团队一同接受媒体采访并与高铁合影
9月底,各国媒体纷纷对华为、客户进行专题采访,并共同试乘高铁,参观调度中心、核心机房、车辆检修库等场所,对华为所提供的通信系统进行宣传报道。客户感慨项目交付一路走来的艰辛,对华为在项目中付出的努力表示感谢,高度盛赞华为艰苦奋斗和奋勇向前的精神。
望着身边呼啸而过的列车,我们的思绪又回到了几个月前项目交付冲刺期的那段时光……
01
突如其来的挑战
雅万高铁全线142公里,共架设56座高架,开凿了13个隧道,地质环境复杂,土建难度大,沿线站点的配套建设也非常缓慢。华为所负责交付通信系统需要在机房土建和配套完成后才能开工。
2023年4月7日,我们项目组接到客户的通知,要求项目各方全力以赴,必须在8月份具备通车条件。对华为来说,这意味着一场无比艰巨的挑战。按此时间表,5月初,就必须完成核心网、无线、数通、传输四个通信子系统的调测工作;7月初,必须完成车辆上线,以及系统联调测试和无线网络优化;再经过一个月的试运行,赶在8月使高铁具备通车条件。
此时,距离5月初满打满算也就只有一个月时间。也就是说,我们要在这一个月内完成调度中心核心机房、四座车站和七十多个区间站点的调测。按原计划,这可是三个月才能完成的工作量,现在竟被压缩成了一个月!消息传来时,整个项目组都炸锅了:
“啥?在5月初,就要完成主备两套核心网调测?”
“机房都还没建好啊!”
“没电怎么调测?”
……
确实,情况不容乐观。所有机房都没通电,还有三十多个站点的机房尚未完成建设,更别提机房装修、除尘、光缆和空调这些配套设施了,完全不具备启动调测的条件。
面对如此严峻的形势,我们不能自乱阵脚。既然条件不具备,那就必须想办法,创造条件完成任务。
越是艰难困苦,越能激发团队的斗志和激情。公司内部很快行动了起来,紧急组建了研发保障团队,确保能够快速投入项目交付保障。代表处交付与服务部长也第一时间来到调度中心现场与客户交流,了解了项目的压力和困难,立刻组织各部门技术力量投入,这给客户带来了极大的信心。
同时,印尼代表处区域交付与服务业务部为项目组送来桌椅、风扇、药品、口罩、食物等保障物资,来改善现场的环境,为即将打响的战斗提供充足的后勤保障。
经过与客户的讨论,我们达成一致目标:在2023年4月18日前,打通first call(首次呼叫),先取得阶段性进展;5月初,完成核心网调测,支撑业务对接;在大站以及区间站点,客户负责推进供电和施工放缆;在机房和配套具备条件的前提下,华为安排工程师同步进行安装督导和调测。
大家摩拳擦掌,鼓足干劲,坚定信念:我们一定能完成任务!
代表处交付服务部长(左四)在调度中心与客户交流
02
在斋月创造的奇迹
印尼人口大多数是穆斯林,斋月是他们一年中最重要的月份,虔诚的穆斯林从清晨到晚上都严禁饮食。2023年的斋月恰逢4月,正是项目的交付冲刺期。这段时间里,印尼本地同事们需要更加弹性的工作安排,花专门时间进行祈祷。项目组在赶进度的同时,也特别关注他们的身体健康,适时安排休息。
核心网工程师Khamid在印尼代表处已经奋斗了15个年头,从2G干到5G,具有非常丰富的交付经验,他也是团队里为数不多的参与过GSM(全球移动通信系统)交付的工程师。因此,在本次项目里他担任核心网团队的TL(团队负责人),承担重任。
4月的印尼闷热潮湿,机房环境简陋,连地板都未铺设,还遍布着施工钢架,空间局促,无处下脚,而Khamid却在这些机房里一待就是十余天。他每进出一趟机房都要猫着腰,小心翼翼地跨过数十排钢架,才能找到勉强落下一只脚的地方,然后蜷在巴掌大的空间里,聚精会神地进行调测。有时候,他还得跨过几排钢架,俯下身体,去机柜里检查配线、调个板子或换个端口。累了,就坐在钢架上喘口气,等双腿硌得麻木了,又站起来伸伸腿,活动活动,然后蹲下来接着干……他把每一个网元、每个调测步骤所需要的时间清晰地列出来,带领工程师们严格按照计划完成每天的调测任务,全力冲刺。
核心网工程师 Khamid(右一)在机房调测
客户也经常派代表到机房来了解调测进展。一次,他看到Khamid忙得满头大汗,赶紧递上一瓶水,但是被礼貌地谢绝了。
客户代表不是当地人,有点惊讶:“天这么热,连水也不喝吗?”
华为项目经理解释道:“是啊,穆斯林在斋月的白天里,既不吃饭也不喝水。”
客户代表啧啧称道:“工作如此敬业,令人敬佩!”
就这样,工程师们只用了一周,就完成了各网元裸板的软件完全安装、参数配置、交换机配置等操作。紧接着,大家顾不上休息,又进入呼叫测试阶段,一口气将所有遗留问题逐一解决。
4月17日,我们成功打通了first call,比原计划时间提前一天,用时仅仅十天!客户在现场也难掩内心的激动:“华为的工程师真厉害!”并向Khamid竖起了大拇指:“Very good!”
打通first call标志着雅万高铁的无线通信系统取得了关键进展。人民网、新华社、中国新闻网等国内媒体纷纷对此进行了报道。
与此同时,传输、数通和基站的调测工作也在争分夺秒地推进着。从2023年4月中旬开始,陆续有部分站点机房先后完工。在当时的进度要求下,只要一有机房具备条件,我们就第一时间跟进,迅速启动调测。
Hekta和Desi是站点调测的传输和数通工程师,他们分别带领一支队伍,进行铁路沿线站点的督导调测。他们每天清晨5点半就从万隆出发,一路长途跋涉,在8点半前赶到第一个站点与工程队集合,然后紧锣密鼓地开始一天的工作。他们首先检查供电、线缆、设备安装、天馈安装和标签,有问题就立即指导工程队现场整改。一切检查无误后,开始设备加电,配置参数,进行各端口收发光测试。最后,与网管中心的同事核实设备能正常加载后,再继续赶往下一个站点。
铁路沿线有一半的站点分布在山区,道路陡峭而坎坷。临近站点时,车辆无法驶入,往往还要人拉肩扛,背着电脑和测试工具,在泥泞的山路上步行数公里才能抵达。在有些山区,甚至没有网络信号,大家常常几个小时都处于“失联”状态。要与网管中心沟通时,必须要爬到附近高一点的小山头上“找”到信号,才能打通电话。
在铁路沿线调测站点的场景
每天,Hekta和Desi都是这样带着大家往返各个站点,平均每日行程达500多公里。在斋月里,这对他们来说是非常大的挑战。在短短20天时间里,他们几乎踏遍了高铁沿线的山山水水。网管终端上的设备图标一个个亮起来,就像点亮了一座座里程碑,记录着他们的艰辛与努力。
2023年4月28日,调度中心和四座大站的传输、数通网络全面调通。5月6日,随着最后一个区间站点配置完成,奇数环和偶数环的70多个传输站点全部打通,43个无线基站也全部上线,圆满达成了静态验收条件。客户非常满意,称赞道:“咱们的通信系统的工程进度在所有专业领域排名第一,大家辛苦了!”
四座大站传输调通后,Hekta(左)和Desi(右)在卡拉旺站点留影
4月份,还在搭建中的网管室
03
“跳”出来,化解危机
5月份,跨过紧张的站点冲刺节点,大家稍微松了口气。但很快,项目又进入了联调测试阶段,即列车开始出库,逐级加速,进行全系统的联调测试。
然而,就在我们还沉浸在小小的喜悦中时,却收到了客户的通知,要求我们紧急增派精通GSM-R(GSM铁路通信系统)的专家来支援项目。
原来,客户在车辆联调测试过程中有一个指标——“连续无差错传输时长”不达标,会导致车辆无法通过C3验收测试(车速高于300公里/小时的测试)。该问题一度成为联调测试的最关键问题,客户面临着巨大压力。在现场分秒必争的情况下,进度一天都不能耽误。客户希望我们选派GSM-R的研发专家,与他们一同快速分析和定位问题。
我们的研发专家迅速投入了进来,与客户一同分析数据,讨论方案。而在现场,项目组也一边配合研发专家进行方案验证,一边坚持不懈地尝试各种方法,争取尽快解决问题。
一周过去了,所有方法几乎用尽,纵使按照研发专家建议,逐个排查了核心网的设备配置,参数设置也与其他局点进行了匹配,都未发现问题。现场又仔细确认了接地环境,甚至更换了全套线缆,但问题仍然存在,似乎成了“玄学”。
最后,客户等不及了,敦促我们更换全套核心网单板——“死马当活马医”,立刻行动!
其实,大家还是心里没底:如果换了单板后问题依旧无法解决,怎么办?影响了高铁项目的整体进程,又怎么办?我们不敢想象……
英雄总是在最关键的时候登场。我们的项目TD(技术总负责人)老左,已经连续十天奋战在现场参与问题定位。他日夜琢磨,突然有了一个大胆的设想:这会不会是一个非常基础的问题?也许我们分析问题时绕的太深了,能否从当前的排查方法跳出来,从RBC测试设备(第三方设备,用于模拟列车控制信号)参数这一侧入手试试?
这天晚上,老左一边仔细阅读RBC说明书,一边与核心网工程师核对参数,抱着设备反复测试验证,还时不时地与RBC设备厂商打几个电话。突然,他眼前一亮:RBC的几个默认的参数配置似乎与核心网不匹配。经过几番验证,他锁定了其中一个存在配置异常的参数——问题根因很可能就出在它身上!
夜深了,已是凌晨2点多,客户工程师已经在网管室的办公桌上趴着睡着了。
老左兴奋地抱着设备,一路小跑,冲进网管室:“快醒醒,我们找到问题了!”
“哇,真的吗?”客户揉着眼睛,似乎不敢相信。老左操作着设备,自信地演示着,展示的数据全部都满足指标要求。
“好!你们赶紧再多测一测,明天早上8点我们协调综合检测车测试。一定要万无一失!”客户也很兴奋。
虽然已确认了原因,但是第二天一早,当我们看到综合检测车上线,启动测试时,心里还是捏着一把汗。等待结果出来这短短十几分钟,仿佛是过了一个小时。
过程是曲折的,但结果是美好的。测试结果显示:指标通过了!客户不放心,要求我们又在车辆和核心网两侧分别对参数进行验证,结果都是:一致通过!
大家非常兴奋,客户和我们拥抱着欢呼起来:
“终于看到你们笑了,这个问题把大家都折腾得不轻!”
“今天可以早点回去安心睡个觉了。”
“老左,你又一次拯救了我们……”
老左(右一)与核心网专家们测试验证问题
04
携手共进,终奏成功之曲
项目涉及多方配合,交付过程中的挑战和分歧不可避免。我们与客户紧密合作,不断磨合,互补互助,持续前进,从最初的相互不理解到后来的把酒言欢。一路走来,既有过痛苦,也感到愉悦。
在项目联调测试的最后阶段,高铁运营方陆续介入到项目中,开始了解各系统,为后续接手运营做准备。他们发现:当前项目的方案中,列车车次号的注册是直接通过核心网来管理,而在中国国内则是通过单独的一套设备去进行管理的,这两种方式在维护操作上也存在一些差异,与他们熟悉的运营方式不一样。因此,运营方要求客户新增设备,提供与国内一致的车次号注册方案。
我们联合客户一起与运营方多次协商,解释当前方案能够满足高铁的运营要求,但是运营方出于运营习惯的考虑,仍坚持要求方案与国内保持一致。这样一来,可能会导致客户和我们交付的系统都无法顺利完成验收。
一时间,我们和客户一起被推倒了风口浪尖,每天的联调测试大会上,该问题都会被通报,运营方也数次发函要求客户尽快解决该问题。客户团队和华为项目组都感受到了很大的压力。
怎么办?运营方的要求无法实现,因为华为的相关产品在多年前已经停产,业界其他厂商也无齐套的设备可以供应,此路不通。
客户无奈地说:“方案我们都清楚,但是现在运营方不清楚,这是问题的根源。”
这给我们提了个醒:如果运营方能够深入了解我们的方案,是不是问题就解决了?
于是,在6月初,我们邀请客户高层在印尼进行了一次恳谈会,重点就是围绕这个问题,讨论出一个解决方案,并共同努力去推进解决问题。
这里有个小插曲。客户集团副总是首次来印尼,我们新上任的系统部部长也是刚到印尼,两人见面后都感觉对方面熟。相互了解后才发现,两人竟然是乘坐同一趟航班来的印尼。副总笑道:“我们为了同一件事,搭同一趟航班,参加同一个会!这太巧了!”谈笑间,会议的气氛一下子就轻松了很多。
会上,双方充分沟通讨论,协商策略,最后决定:由华为安排研发专家来现场,协助客户总工一同向运营方澄清和展示方案的可行性,并进行现场培训指导,打消运营方的疑虑。客户也向上汇报,推动联合体(中方参建单位的联合体组织)进行方案决策。
想到的总是困难,干起来才能找到答案。这也是当时最好的办法了。会后,大家立即行动起来。
我们向公司申请了研发专家来到现场,向运营方详细阐述华为方案的特点和优势,讲解该方案在全球的应用案例,澄清各种疑问,力争每一个问题都能讲解透彻,让对方放心。
经过研发专家近一个月的现场指导,运营方主管工程师反复实操验证,逐渐熟悉了华为产品方案。经他确认,方案不像他们之前想象的那样复杂,也无需配置数十万条参数矩阵,完全能够满足运营要求。华为的方案被认可了!
我们终于看到了曙光。客户向上汇报也比较顺利,通过几轮的澄清,联合体也认为方案可行。
各方签署了决议后,客户难掩激动之情,紧紧握着华为项目经理的手说:“大事终于解决了,后面的试运行保障,还要靠你们啦!”
核心网小团队
05
苦尽甘来,共享胜利的喜悦
2023年10月17日,雅万高铁正式通车运营,使雅加达至万隆这一片人口稠密区域的交通时间由三个多小时缩短至四十分钟。印尼总统连续两次乘车,各大媒体争相报道,民众也热情高涨,为高铁取名为WHOOSH(Waktu Hemat, Operasi Optimal, Sistem Hebat),它在印尼语中是省时、高效和先进的意思,也是列车快速驶过时的拟声词。
看着列车一趟一趟地呼啸而过,高速平稳地行驶在印尼的旷野上,我们心潮澎湃,相拥而庆。无数个奋斗的日日夜夜,一幕幕挥汗如雨的场景,仍生动浮现,历历在目。
我们不止一次见过凌晨四、五点钟的万隆;
我们爬过四十度的陡坡,趟过泥泞遍地的施工便道;
我们背着沉重的仪表,在铁路沿线走过一个又一个三公里,穿越一个又一个隧道;
多少个夜晚,我们紧急前往站点,攻克一个个问题,为列车运行保驾护航。
……
雅万高铁的成功见证了一个伟大奇迹。在成功的背后,也包含着无数华为人的辛勤汗水,展现了华为人不屈不挠、使命必达的精神,也兑现了我们的坚定承诺:“在印尼,为印尼!”
试运行期间客户和华为团队在Halim车站合影(左一、左三、右一、右二为华为同事)
▼▼▼
蓝血研究院公开课
课程内容 | 课 时 | 开课形式 | 时间 |
《华为干部培养与训战结合赋能方法》 |
2天1夜 | 线下 | 12/22-23 |
《企业大学:仗怎么打,兵就怎么练》 |
1天 |
线上 |
待定 |
《华为经营计划与预算预测》 |
1天 | 线上 | 12/2 |
《客户洞察与竞争情报》 | 2天1夜 | 线下 | 11/17-18 |
《战略解码工作坊》 | 2天1夜 | 线下 | 待定 |
《从战略到执行-从市场机会到经营构建》 | 2天1夜 | 线下 | 待定 |
《经营分析会,战略落地的有效手段》 | 2天1夜 | 线下 | 待定 |
《经营型组织诊断》 |
1天 |
线上 | 待定 |
《营销战术与大客户关系》 | 2天1夜 | 线下 | 待定 |
《驱动经营实现价值倍增的利润中心建设》 | 1天 | 线上 | 待定 |
《华为财经变革及数字化转型》 | 2天1夜 | 线下 | 待定 |
《标杆企业营销业绩倍增实战兵法》 | 3天2夜 | 线下 | 待定 |
《打造立体型激励体系》 | 2天1晚 | 线下 | 待定 |
《人才盘点与任职资格》 | 1天 | 线上 | 待定 |
《一线呼唤炮火的项目管理实践》 | 2天 | 线下 | 待定 |
《华为内控体系建设实践》 | 1天 | 线上 | 12/9 |
格格老师:18603075818(微信同号)