于慧珠++潘相東

為了解決目前聯(lián)通營業(yè)側(cè)業(yè)務(wù)處理是單點系統(tǒng)處理，在全流程各子系統(tǒng)出現(xiàn)應(yīng)用系統(tǒng)運行異常或者應(yīng)用系統(tǒng)處理工單緩慢出現(xiàn)積壓時，導(dǎo)致工單無法正常處理出現(xiàn)用戶投訴，同時結(jié)合2016年3月北京聯(lián)通為提升客戶感知，改善服務(wù)質(zhì)量，提出的信控業(yè)務(wù)全流程、全業(yè)務(wù)（含普話、寬帶、移網(wǎng)）5分鐘開通的目標(biāo)，大唐電信旗下大唐軟件提出了聯(lián)通急速開通系統(tǒng)解決方案，將“提高系統(tǒng)反應(yīng)能力，提高客戶滿意度”，作為聯(lián)通極速開通平臺的設(shè)計與實現(xiàn)的標(biāo)準(zhǔn)。

在此目標(biāo)的驅(qū)動下，必須首先解決單點系統(tǒng)問題，為此提出開辟工單應(yīng)急處理通道，在現(xiàn)有系統(tǒng)出現(xiàn)故障時，可立即切換到應(yīng)急處理通道，進(jìn)行業(yè)務(wù)工單持續(xù)處理（一階段為復(fù)機(jī)業(yè)務(wù)），以保證5分鐘開通目標(biāo)達(dá)成。

聯(lián)通極速開通系統(tǒng)的五個亮點

流程極簡

信控業(yè)務(wù)全流程是指從計費定單開始，至網(wǎng)元施工結(jié)束。聯(lián)通現(xiàn)網(wǎng)處理流程，由營業(yè)側(cè)下發(fā)訂單，timer掃描生成定單信息存儲入Oracle數(shù)據(jù)庫，通過工作流解析timer掃描定單生成工單信息存儲入Oracle數(shù)據(jù)庫，定單信息發(fā)送NAS，timer掃描NAS接受到的工單信息存儲入Oracle數(shù)據(jù)庫，通過timer掃描生成網(wǎng)元工單信息存儲入Oracle數(shù)據(jù)庫，組織網(wǎng)元工單下發(fā)網(wǎng)元執(zhí)行，timer掃描報竣網(wǎng)元工單并同步工單信息存儲入Oracle，NAS結(jié)果通知IOM報竣信息，timer掃描后，同步工單報竣信息存儲入Oracle，timer掃描后，同步定單報竣信息存儲入Oracle，最后定單歸檔到Oracle。

從現(xiàn)網(wǎng)處理流程分析得出：現(xiàn)網(wǎng)系統(tǒng)高度依賴timer、數(shù)據(jù)庫存在瓶頸、資源爭搶激烈、過程冗余等問題突出。

聯(lián)通極速開通系統(tǒng)處理流程由營業(yè)側(cè)下發(fā)訂單，生成的定單存入內(nèi)存數(shù)據(jù)庫，經(jīng)過映射生成工單信息并同時生成網(wǎng)元工單，存入內(nèi)存數(shù)據(jù)庫。而后網(wǎng)元工單下發(fā)網(wǎng)元執(zhí)行，網(wǎng)元工單報竣同步結(jié)果到工單和定單，然后進(jìn)入結(jié)果上報流程，工單竣工后進(jìn)行數(shù)據(jù)清理后歸檔到關(guān)系數(shù)據(jù)庫保存?zhèn)浞荨?/p>

聯(lián)通極速開通系統(tǒng)不再依賴timer進(jìn)行處理，而是引入異步消息隊列驅(qū)動進(jìn)行工單流程控制，并且把過程處理數(shù)據(jù)保存在內(nèi)存數(shù)據(jù)庫，去掉連接數(shù)據(jù)庫并讀取磁盤帶來的開銷，除外還去除原有復(fù)雜的工作流處理機(jī)制，精簡中間處理環(huán)節(jié)，使處理過程更加簡單高效。

云化架構(gòu)

聯(lián)通極速開通系統(tǒng)設(shè)計理念：云化架構(gòu)，消息驅(qū)動，快速執(zhí)行，它有四個特點。

第一，高速處理，全組件云化架構(gòu)，MQ消息驅(qū)動，緩存加速，數(shù)據(jù)庫分庫分表設(shè)計，減少單表數(shù)據(jù)量。

第二，高擴(kuò)展能力，各組件均可橫向擴(kuò)展，無性能瓶頸。

第三，高可靠性，多宿主容災(zāi)，無單點故障瓶頸。

第四，節(jié)省成本，去IOE，所有服務(wù)器使用PC服務(wù)器，不采用小型機(jī)、磁盤陣列。

多宿主容災(zāi)

只通過一條鏈路連接到單個主機(jī)節(jié)點的模式容易發(fā)生單點失效而導(dǎo)致系統(tǒng)癱瘓，而此問題對于分布式系統(tǒng)是不可行的。為此我們對sorl、redis、rabbitMQ和mysql進(jìn)行集群，各個連接點實現(xiàn)主備實現(xiàn)，保證快速響應(yīng)連接和數(shù)據(jù)一致性。如果出現(xiàn)單節(jié)點故障，不會影響用戶使用和數(shù)據(jù)丟失等情況，實現(xiàn)多宿主容災(zāi)目標(biāo)。

全流程實時預(yù)警

此系統(tǒng)技術(shù)復(fù)雜和組件繁多，如果系統(tǒng)出現(xiàn)異常，光靠人手動監(jiān)控是不現(xiàn)實的，所以我們提供完整的監(jiān)控預(yù)警系統(tǒng)。例如，在現(xiàn)網(wǎng)處理通道某個環(huán)節(jié)出現(xiàn)故障，監(jiān)控預(yù)警系統(tǒng)會進(jìn)行告警通知并切換到應(yīng)急處理通道，保證故障實時處置，其它工單監(jiān)控點還包括總工單數(shù)、未竣工工單數(shù)、在途工單數(shù)和已回單數(shù)等。在服務(wù)技術(shù)組件監(jiān)控方面，我們對tomcat請求連接池、solr集群、redis集群、rabbitmq集群情況和zookeeper進(jìn)行監(jiān)控，為組件平穩(wěn)運行提供服務(wù)。

高擴(kuò)展能力

聯(lián)通極速開通系統(tǒng)支持服務(wù)平滑擴(kuò)容，如果聯(lián)通極速開通服務(wù)器數(shù)量需要擴(kuò)充或者裁減，只需要進(jìn)行相應(yīng)配置就可以實現(xiàn)，且在系統(tǒng)升級時也有安全退出機(jī)制，保證數(shù)據(jù)一致性。

服務(wù)組件擴(kuò)容，在現(xiàn)有組件集群能力不能滿足支撐時，可以動態(tài)平滑增加機(jī)器到集群中，組件能力過剩也可以滿足指定機(jī)器從集群中刪除操作。

服務(wù)數(shù)擴(kuò)展，如果在當(dāng)前系統(tǒng)某個模塊并發(fā)數(shù)不足，可以在配置中增加并發(fā)數(shù)實現(xiàn)服務(wù)數(shù)動態(tài)擴(kuò)展能力。

網(wǎng)元平臺擴(kuò)展，如果加入新的網(wǎng)頁配置，只要加入配置啟動信息和消息指向就可以完成擴(kuò)展。

聯(lián)通極速開通系統(tǒng)運行成果

運行情況和成果推廣

在2016年7月4日12時17分05秒，現(xiàn)網(wǎng)產(chǎn)生積壓、服務(wù)中斷等核心故障，應(yīng)急開機(jī)系統(tǒng)立即響應(yīng)，于12時22分接收到切換請求，啟動時長為1小時5分鐘所得極速開通數(shù)據(jù)和現(xiàn)網(wǎng)數(shù)據(jù)對比圖。期間應(yīng)急開機(jī)系統(tǒng)接收復(fù)機(jī)數(shù)據(jù)量5833條工單，分別為移網(wǎng)號碼5085、固網(wǎng)355、寬帶393，執(zhí)行成功5827，失敗6（網(wǎng)元超時），執(zhí)行成功率達(dá)到99.87%。

經(jīng)過生產(chǎn)應(yīng)用，切實解決了中國聯(lián)通北京聯(lián)通分公司出現(xiàn)工單積壓現(xiàn)象影響停復(fù)業(yè)務(wù)的開機(jī)服務(wù)問題。同時，其自動切換的及時性，給信息化的運維工作帶來了極大的便利。對于改善聯(lián)通公司其它各省份信息化部，針對開機(jī)延時問題提供了行之有效的解決方案。

標(biāo)準(zhǔn)化實施

在此過程中，將系統(tǒng)服務(wù)運行的監(jiān)控機(jī)制和服務(wù)異常時的應(yīng)急處理機(jī)制不斷進(jìn)行標(biāo)準(zhǔn)化。

鞏固期數(shù)據(jù)

我們對2016年7月-2016年12月繳費開機(jī)及時率進(jìn)行了統(tǒng)計。在鞏固期內(nèi)繳費開機(jī)及時率穩(wěn)定在99%以上的水平，目標(biāo)達(dá)成。

極速開通平臺集中體現(xiàn)運維服務(wù)體系建設(shè)，應(yīng)包含運維服務(wù)制度、流程、組織、隊伍、技術(shù)和對象等方面的內(nèi)容。同時結(jié)合極速開通平臺支撐的業(yè)務(wù)特色，整合運維服務(wù)資源，規(guī)范運維行為，確保服務(wù)質(zhì)效，形成統(tǒng)一管理、集約高效的一體化運維體系，從而保障極速開通平臺在集中的條件下，網(wǎng)絡(luò)和應(yīng)用系統(tǒng)安全、穩(wěn)定、高效、持續(xù)運行。

展望未來，目前聯(lián)通極速開通系統(tǒng)支撐停復(fù)業(yè)務(wù)是遠(yuǎn)遠(yuǎn)不夠的，基于現(xiàn)有技術(shù)和系統(tǒng)不斷成熟穩(wěn)定，未來將支撐電信運營商營業(yè)側(cè)業(yè)務(wù)的開通、撤銷、開戶、銷戶等全業(yè)務(wù)處理操作。