馬凝芳高級(jí)工程師 蔣 皓高級(jí)工程師 張玉濤 魯陳立

(中國信息通信研究院，北京 100191)

0 引言

歐盟網(wǎng)絡(luò)安全局發(fā)布《2021年電信安全事件》年度報(bào)告，顯示2021年來自26個(gè)歐盟成員國和2個(gè)歐洲自由貿(mào)易聯(lián)盟(European Free Trade Association，EFTA)國家的168起電信事故總損失為51.06億用戶小時(shí)數(shù)，相較2020年的8.41億用戶小時(shí)大幅增加[1]。2022年7月日本KDDI株式會(huì)社(KDDI Corporation，KDDI)、加拿大羅杰斯通信公司(Rogers Communications Inc.，Rogers)、美國谷歌公司(Google Inc.，Google)3家公司相繼出現(xiàn)波及全國、歷時(shí)數(shù)日的特大型信息通信網(wǎng)絡(luò)運(yùn)行事故，引起了全世界的高度關(guān)注[2]。其帶來的災(zāi)難性后果充分表明人類社會(huì)對(duì)信息通信網(wǎng)絡(luò)的依賴程度非常高。

羅丹、張治兵[3]分析國內(nèi)外通信網(wǎng)絡(luò)運(yùn)行風(fēng)險(xiǎn)管理現(xiàn)狀，并從加強(qiáng)頂層管理體系建設(shè)、提升監(jiān)督管理要求、提升風(fēng)險(xiǎn)防范能力等方面提出風(fēng)險(xiǎn)管理的改進(jìn)建議；趙松柏[4]從我國網(wǎng)絡(luò)運(yùn)行維護(hù)管理制度的演變過程出發(fā)，分析網(wǎng)絡(luò)運(yùn)行維護(hù)管理現(xiàn)狀、管理重點(diǎn)與目標(biāo)、影響網(wǎng)絡(luò)穩(wěn)定的因素、運(yùn)維管理工作存在的不足等問題，提出優(yōu)化資源、落實(shí)集約化管理，落實(shí)網(wǎng)絡(luò)線路的優(yōu)化、調(diào)整工作，研發(fā)新型保障技術(shù)，發(fā)揮政府協(xié)同管理的作用等建議；在具體技術(shù)方面，農(nóng)毅杰[5]提出一種以Web為基礎(chǔ)的網(wǎng)絡(luò)化運(yùn)營與維護(hù)信息管理體系，逐級(jí)進(jìn)行深層次的故障定位，查找根源并進(jìn)行處理；美國國家標(biāo)準(zhǔn)與技術(shù)研究院(National Institute of Standards and Technology，NIST)開發(fā)了一種風(fēng)險(xiǎn)管理框架，提供靈活、動(dòng)態(tài)的方法用于管理高度多樣化的信息系統(tǒng)安全風(fēng)險(xiǎn)，為信息通信網(wǎng)絡(luò)運(yùn)行安全風(fēng)險(xiǎn)管理提供參考[6]。目前國內(nèi)外針對(duì)網(wǎng)絡(luò)運(yùn)行安全事故發(fā)生規(guī)律、事故原因、事故后果開展的研究較少，同時(shí)也缺少涵蓋網(wǎng)絡(luò)運(yùn)維、監(jiān)管、系統(tǒng)設(shè)計(jì)等的事故預(yù)防體系。本文從國內(nèi)外網(wǎng)絡(luò)運(yùn)行安全事故出發(fā)，分析事故原因、總結(jié)事故規(guī)律，在此基礎(chǔ)上提出預(yù)防措施和建議，提高網(wǎng)絡(luò)運(yùn)行安全水平。

1 事故分析

為了全面掌握網(wǎng)絡(luò)運(yùn)行事故的基本特征，總結(jié)事故發(fā)生的規(guī)律，對(duì)國內(nèi)外2020年11月-2022年9月發(fā)生的29起網(wǎng)絡(luò)運(yùn)行事故信息進(jìn)行統(tǒng)計(jì)分析。

1.1 總體情況

由于我國目前無公開的官方網(wǎng)絡(luò)運(yùn)行安全事故統(tǒng)計(jì)數(shù)據(jù)，本文的數(shù)據(jù)來源于媒體報(bào)道。為揭示事故規(guī)律，提出針對(duì)性的預(yù)防措施，統(tǒng)計(jì)的信息主要包括：事故發(fā)生的時(shí)間、事故過程、事故原因、事故影響持續(xù)時(shí)間等。國內(nèi)外網(wǎng)絡(luò)運(yùn)行事故，見表1、2。

表1 國內(nèi)網(wǎng)絡(luò)運(yùn)行事故

從持續(xù)時(shí)間方面分析顯示，影響24h及以上的事故數(shù)量占事故總數(shù)的14%，3～24h的占比38%，1～3h的占比14%，20min～1h的占比27%，小于20min的占比7%，如圖1。

圖1 事故影響時(shí)間分布情況

表2 國外網(wǎng)絡(luò)運(yùn)行事故

近3年，每年事故平均影響時(shí)長(事故影響總時(shí)長/事故起數(shù))呈增長趨勢(shì)。其中2022年事故平均影響時(shí)長較2021年增長了149.8%，如圖2。特別需要關(guān)注的是超過3h的事故已經(jīng)超過50%。

圖2 近3年事故平均影響時(shí)長變化趨勢(shì)

圖2顯示，網(wǎng)絡(luò)運(yùn)行事故持續(xù)時(shí)長增加趨勢(shì)明顯，主要原因在于隨著網(wǎng)絡(luò)云化的不斷發(fā)展，網(wǎng)絡(luò)運(yùn)行事故原因定位和溯源難度加大，網(wǎng)絡(luò)運(yùn)維管理復(fù)雜度提高。網(wǎng)絡(luò)脆弱性增加的趨勢(shì)與后疫情時(shí)代生產(chǎn)、生活和學(xué)習(xí)在線上開展不斷增加的實(shí)際情況產(chǎn)生矛盾，如果放任矛盾發(fā)展必然給社會(huì)經(jīng)濟(jì)發(fā)展帶來不可估量的損失。

以2022年7月日本KDDI網(wǎng)絡(luò)運(yùn)行事故為例，事故由核心路由器割接過程中突發(fā)通信中斷事故導(dǎo)致全日本范圍內(nèi)手機(jī)用戶無法正常撥打電話、收發(fā)短信。約3 915萬用戶受影響，相當(dāng)于日本人口的1/3左右；事故還波及了固網(wǎng)用戶、大批政企互聯(lián)網(wǎng)/物聯(lián)網(wǎng)業(yè)務(wù)和基礎(chǔ)設(shè)施；還致日本204處氣象觀測(cè)系統(tǒng)無法傳送資訊；部分銀行的自動(dòng)取款機(jī)、公交系統(tǒng)乘車卡、豐田等車企的部分車聯(lián)網(wǎng)服務(wù)無法使用；鐵路貨運(yùn)的物流信息系統(tǒng)也受到影響，引發(fā)物流遲滯，郵件和包裹投遞延誤。事故持續(xù)超過3天，嚴(yán)重影響了日本國內(nèi)正常的社會(huì)生活秩序。

1.2 事故原因分析

造成信息通信網(wǎng)絡(luò)運(yùn)行安全事故的原因可以分為3大類，即環(huán)境因素、系統(tǒng)(網(wǎng)絡(luò))因素和人為因素，其中環(huán)境因素包含極端天氣、外部施工挖斷光纜、火災(zāi)等；系統(tǒng)(網(wǎng)絡(luò))因素包含網(wǎng)絡(luò)架構(gòu)冗余失效、網(wǎng)絡(luò)設(shè)備硬件故障、網(wǎng)絡(luò)設(shè)備軟件故障、動(dòng)環(huán)設(shè)備故障、線路設(shè)施故障等；人為因素包含割接升級(jí)操作不當(dāng)、配置錯(cuò)誤等。

通過對(duì)29起網(wǎng)絡(luò)運(yùn)行事故進(jìn)行分析，發(fā)現(xiàn)系統(tǒng)(網(wǎng)絡(luò))因素是導(dǎo)致網(wǎng)絡(luò)運(yùn)行事故的主要原因，占比為61%，而人為因素占比為32%，環(huán)境因素占比為7%，如圖3。

圖3 事故原因占比情況

實(shí)踐中，網(wǎng)絡(luò)運(yùn)行事故通常是多因素共同引發(fā)的，如長時(shí)間降雨可能導(dǎo)致供電基礎(chǔ)設(shè)施損壞、用電設(shè)備短路或通信電纜被洪水沖斷等，造成設(shè)備斷電或傳輸中斷，最終引發(fā)網(wǎng)絡(luò)運(yùn)行事故。

圖4顯示，割接升級(jí)、動(dòng)力系統(tǒng)故障及網(wǎng)絡(luò)設(shè)備軟件故障為引發(fā)事故的主要因素，可占事故總數(shù)的66%。因此在系統(tǒng)設(shè)計(jì)、日常維護(hù)等工作中應(yīng)重點(diǎn)關(guān)注動(dòng)環(huán)系統(tǒng)和網(wǎng)絡(luò)設(shè)備軟件的運(yùn)行情況，必要時(shí)部署自動(dòng)化的監(jiān)測(cè)設(shè)備，實(shí)時(shí)監(jiān)控設(shè)備運(yùn)行狀況，預(yù)防事故發(fā)生。

圖4 事故因素占比情況

在影響時(shí)長方面，根據(jù)事故因素分類計(jì)算事故總數(shù)和總影響時(shí)長，得到事故因素平均影響時(shí)長，如圖5。在統(tǒng)計(jì)范圍內(nèi)，割接升級(jí)平均影響時(shí)長最大，達(dá)到了1 336min；其次為自然災(zāi)害因素，平均影響時(shí)長為1 213min；網(wǎng)絡(luò)設(shè)備軟件故障因素為897min；網(wǎng)絡(luò)設(shè)備硬件故障的平均影響時(shí)長最小為87min。

圖5 事故因素平均影響時(shí)長

割接升級(jí)是系統(tǒng)的變更升級(jí)環(huán)節(jié)，操作復(fù)雜、風(fēng)險(xiǎn)較大，在實(shí)際操作中建議各網(wǎng)絡(luò)運(yùn)營者制定嚴(yán)格的操作流程、經(jīng)過多次測(cè)試驗(yàn)證，并制定詳盡的應(yīng)急預(yù)案后再進(jìn)行正式操作。操作中應(yīng)嚴(yán)格監(jiān)測(cè)系統(tǒng)各參數(shù)變化情況，發(fā)現(xiàn)異常及時(shí)應(yīng)對(duì)，適時(shí)啟動(dòng)應(yīng)急預(yù)案嚴(yán)防事故進(jìn)一步擴(kuò)大。

2 事故特征分析

信息通信網(wǎng)絡(luò)作為經(jīng)濟(jì)社會(huì)發(fā)展的重要基礎(chǔ)設(shè)施，其重要性與日俱增。目前隨著傳統(tǒng)通信技術(shù)(Communication Technology，CT)與信息技術(shù)(Information Technology，IT)融合發(fā)展，信息通信網(wǎng)絡(luò)運(yùn)行安全面臨新的挑戰(zhàn)，通信網(wǎng)絡(luò)運(yùn)行安全事故也出現(xiàn)了新的特征。

(1)網(wǎng)絡(luò)結(jié)構(gòu)變化導(dǎo)致網(wǎng)絡(luò)運(yùn)行風(fēng)險(xiǎn)增加。當(dāng)前通信網(wǎng)絡(luò)廣泛應(yīng)用網(wǎng)絡(luò)功能虛擬化(Network Functions Virtualization，NFV)、網(wǎng)絡(luò)服務(wù)化結(jié)構(gòu)(Service-based Architecture，SBA)等新技術(shù)，通過分層解耦實(shí)現(xiàn)網(wǎng)絡(luò)功能服務(wù)自動(dòng)化管理，增強(qiáng)網(wǎng)絡(luò)的靈活性和可擴(kuò)展性；但是由于涉及廠家、平臺(tái)眾多，跨層關(guān)聯(lián)緊密，發(fā)生故障極易由點(diǎn)及面，網(wǎng)絡(luò)容災(zāi)保護(hù)方式由傳統(tǒng)的網(wǎng)元級(jí)上升到機(jī)房(Data Center，DC)級(jí)、大區(qū)級(jí)，甚至各張網(wǎng)之間、網(wǎng)絡(luò)與云資源之間，保證容災(zāi)生效的同時(shí)還要考慮信令沖擊、業(yè)務(wù)均衡等諸多問題，單一故障極有可能帶來嚴(yán)重并發(fā)癥。日本KDDI事故成因與甘肅5G事故類似，因出現(xiàn)局部單點(diǎn)故障，用戶注冊(cè)失敗導(dǎo)致服務(wù)器資源消耗增加，網(wǎng)絡(luò)性能下降進(jìn)一步引發(fā)注冊(cè)用戶數(shù)的激增，造成數(shù)據(jù)庫同步失敗，最終發(fā)生網(wǎng)絡(luò)整體癱瘓。與傳統(tǒng)的CT網(wǎng)絡(luò)不同，IT提供的是“盡力而為”的服務(wù)，其基礎(chǔ)資源復(fù)用率更高，導(dǎo)致發(fā)生網(wǎng)絡(luò)故障時(shí)更容易從點(diǎn)擴(kuò)散到面，形成連鎖反應(yīng)，造成大規(guī)模的網(wǎng)絡(luò)運(yùn)行事故。

(2)故障原因日益復(fù)雜化、隱蔽化，導(dǎo)致故障排除所需時(shí)間增加。網(wǎng)絡(luò)云化的技術(shù)特征決定了網(wǎng)絡(luò)運(yùn)行事故原因定位和溯源難度加大，網(wǎng)絡(luò)運(yùn)維管理復(fù)雜度提高[7]。日本KDDI事故處理經(jīng)歷了倒回、處理信令擁塞、應(yīng)對(duì)高負(fù)荷沖擊、網(wǎng)元不同步等多個(gè)環(huán)節(jié)。運(yùn)營商在如此復(fù)雜的環(huán)境中進(jìn)行大量變更操作，很難做到在制定方案時(shí)遍歷所有的業(yè)務(wù)和服務(wù)場(chǎng)景。一旦發(fā)生事故，經(jīng)常由于預(yù)案不充分，經(jīng)驗(yàn)不豐富，錯(cuò)失遏制事態(tài)發(fā)展的機(jī)會(huì)，導(dǎo)致事故影響面不斷擴(kuò)大。

(3)既有運(yùn)維方式逐漸不能滿足信息技術(shù)網(wǎng)絡(luò)的發(fā)展要求。隨著網(wǎng)絡(luò)發(fā)展和演進(jìn)，傳統(tǒng)以人工為主的運(yùn)維方式已經(jīng)無法適應(yīng)網(wǎng)絡(luò)不斷增加導(dǎo)致的運(yùn)維復(fù)雜性、參數(shù)配置更加靈活等新型挑戰(zhàn)[8]。網(wǎng)絡(luò)系統(tǒng)中存在多個(gè)廠家專業(yè)設(shè)備，網(wǎng)絡(luò)調(diào)整密集，對(duì)維護(hù)人員綜合技能要求不斷提高。加之核心網(wǎng)網(wǎng)元大多部署在省級(jí)或大區(qū)級(jí)，網(wǎng)絡(luò)集中管理需要跨專業(yè)、跨部門、跨地域、跨廠家協(xié)同，應(yīng)急處置和指揮調(diào)度難度倍增。

3 事故預(yù)防建議

(1)完善制度標(biāo)準(zhǔn)，提升網(wǎng)絡(luò)健壯性。預(yù)防信息通信網(wǎng)絡(luò)運(yùn)行安全事故關(guān)鍵是從本質(zhì)安全的角度出發(fā)，優(yōu)化系統(tǒng)設(shè)計(jì)提升網(wǎng)絡(luò)健壯性。通過網(wǎng)絡(luò)架構(gòu)保護(hù)、冗余設(shè)計(jì)等手段，預(yù)防環(huán)境因素、系統(tǒng)(網(wǎng)絡(luò))因素和人為因素引發(fā)事故。要進(jìn)一步完善網(wǎng)絡(luò)架構(gòu)保護(hù)的相關(guān)技術(shù)標(biāo)準(zhǔn)，從冗余要求、運(yùn)維管理和運(yùn)行環(huán)境支撐3個(gè)方面完善相關(guān)標(biāo)準(zhǔn)體系。

(2)強(qiáng)化技術(shù)手段，預(yù)防信令風(fēng)暴。針對(duì)易引起網(wǎng)絡(luò)癱瘓的信令風(fēng)暴，事故預(yù)防工作一是優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，控制大區(qū)/網(wǎng)元規(guī)模，降低信令風(fēng)暴影響范圍；二是提升網(wǎng)絡(luò)設(shè)備抗沖擊的能力，完善過載保護(hù)機(jī)制；三是做好無線網(wǎng)、核心網(wǎng)中信令處理網(wǎng)元的數(shù)據(jù)備份，避免因容災(zāi)倒換引發(fā)信令風(fēng)暴；四是建立多維度流量分析和監(jiān)控體系，在接入類、信令類網(wǎng)元中分級(jí)部署流量控制系統(tǒng)，提高流量精細(xì)化管理能力。

(3)落實(shí)風(fēng)險(xiǎn)評(píng)估，提升網(wǎng)絡(luò)運(yùn)行安全水平。風(fēng)險(xiǎn)是事故的根本原因，未遂事故是事故的前兆，控制風(fēng)險(xiǎn)、重視未遂事故對(duì)事故預(yù)防具有舉足輕重的作用[9]。因此，應(yīng)落實(shí)風(fēng)險(xiǎn)分級(jí)管控和隱患排查治理雙重預(yù)防控制機(jī)制，加強(qiáng)信息通信設(shè)施風(fēng)險(xiǎn)評(píng)估管理，識(shí)別和控制網(wǎng)絡(luò)設(shè)備軟件、網(wǎng)絡(luò)設(shè)備硬件、動(dòng)力系統(tǒng)中存在的風(fēng)險(xiǎn)，防止風(fēng)險(xiǎn)轉(zhuǎn)化為隱患，將隱患排除在事故發(fā)生之前。

主要工作內(nèi)容包括：明確風(fēng)險(xiǎn)評(píng)估的組織形式、評(píng)估內(nèi)容、評(píng)估結(jié)果的使用等關(guān)鍵要求；落實(shí)風(fēng)險(xiǎn)評(píng)估制度，建立風(fēng)險(xiǎn)和隱患清單；定期組織評(píng)估，識(shí)別分析系統(tǒng)中存在的風(fēng)險(xiǎn)(如數(shù)據(jù)庫服務(wù)能力風(fēng)險(xiǎn)、應(yīng)急策略風(fēng)險(xiǎn)、系統(tǒng)升級(jí)風(fēng)險(xiǎn)等)，在此基礎(chǔ)上制定風(fēng)險(xiǎn)控制措施(如倒換演練、應(yīng)急演練的實(shí)施要求)等。

(4)加強(qiáng)人員培訓(xùn)，提高運(yùn)維人員工作技能。高水平的運(yùn)維人員是通信網(wǎng)絡(luò)安全運(yùn)行的重要保障，提升運(yùn)維人員能力，預(yù)防參數(shù)配置錯(cuò)誤等人為操作引發(fā)的事故，也有利于及時(shí)發(fā)現(xiàn)系統(tǒng)中的風(fēng)險(xiǎn)和隱患。因此應(yīng)加強(qiáng)運(yùn)維人員培訓(xùn)，定期組織知識(shí)技能比賽等，使運(yùn)維人員熟練掌握各項(xiàng)操作技能，提升知識(shí)水平，完善運(yùn)維能力。

(5)構(gòu)建應(yīng)急體系，強(qiáng)化事故處置能力。為降低網(wǎng)絡(luò)運(yùn)行事故影響，建議各相關(guān)企業(yè)制定信令風(fēng)暴等故障的監(jiān)測(cè)制度、完善監(jiān)測(cè)方法，盡早預(yù)警，人員提前介入，迅速排除故障；其次，制定多項(xiàng)流量控制應(yīng)急預(yù)案，在事故發(fā)展的不同階段都能有效介入，控制影響范圍，逐步排除故障。各項(xiàng)專項(xiàng)應(yīng)急預(yù)案應(yīng)明確應(yīng)急組織形式、人員構(gòu)成、應(yīng)急處置流程等內(nèi)容，保障各項(xiàng)應(yīng)急資源配備。定期組織人員進(jìn)行應(yīng)急演練，使工作人員熟悉應(yīng)急處置流程和在應(yīng)急活動(dòng)中的任務(wù)分工。做到在事故發(fā)生后第一時(shí)間進(jìn)行處置，防止事故后果擴(kuò)大。

(6)推進(jìn)技術(shù)研發(fā)，完善事故溯源機(jī)制。我國擁有世界上規(guī)模最大的信息通信網(wǎng)絡(luò)，且網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)復(fù)雜，相應(yīng)的事故隱患存在的可能性較大，事故發(fā)生后，發(fā)展演化過程復(fù)雜，為事故原因排查和事故調(diào)查帶來挑戰(zhàn)。建議加強(qiáng)技術(shù)研究，完善事故監(jiān)測(cè)和記錄的手段，準(zhǔn)確完整地記錄事故發(fā)生、發(fā)展、排除全過程，提升事故溯源分析能力。將事故發(fā)生、處置的經(jīng)驗(yàn)做法梳理轉(zhuǎn)化為事故預(yù)防的經(jīng)驗(yàn)，促進(jìn)行業(yè)技術(shù)水平提升。

4 結(jié)論

當(dāng)前，信息通信網(wǎng)絡(luò)逐漸成為一項(xiàng)重要的社會(huì)基礎(chǔ)設(shè)施，為其他各行業(yè)的發(fā)展提供支撐，起到“一業(yè)帶百業(yè)”的作用。本文通過分析近3年國內(nèi)外發(fā)生的網(wǎng)絡(luò)運(yùn)行安全事故，并總結(jié)事故規(guī)律，得到以下結(jié)論：

(1)網(wǎng)絡(luò)技術(shù)躍遷給網(wǎng)絡(luò)運(yùn)行安全帶來新的挑戰(zhàn)，事故影響時(shí)長出現(xiàn)逐年增長的趨勢(shì)。建議從網(wǎng)絡(luò)架構(gòu)保護(hù)、網(wǎng)絡(luò)運(yùn)行維護(hù)、運(yùn)行環(huán)境防護(hù)3方面采取措施予以應(yīng)對(duì)。

(2)網(wǎng)絡(luò)運(yùn)行事故具有定位難、處置難、持續(xù)時(shí)間長的特點(diǎn)，建議構(gòu)建高效的應(yīng)急管理體系，推進(jìn)故障記錄、事故溯源等技術(shù)手段，降低事故影響。

(3)系統(tǒng)割接升級(jí)引發(fā)的事故平均影響時(shí)長最大。建議充分發(fā)揮主觀能動(dòng)性，提升一線操作人員的工作技能，提供多場(chǎng)景模擬實(shí)操環(huán)境，強(qiáng)化人員工作能力，同時(shí)優(yōu)化系統(tǒng)設(shè)計(jì)提升網(wǎng)絡(luò)健壯性，預(yù)防事故發(fā)生。