焦旭

談及通信行業(yè)類的國有巨頭時(shí)，人們往往第一印象都是一個(gè)“穩(wěn)”字，甚至說其“保守”都不為過。

2018年，三大運(yùn)營商都在圍繞如何實(shí)現(xiàn)高質(zhì)量通信發(fā)展而布局。所謂高質(zhì)量通信，就是要做到網(wǎng)絡(luò)設(shè)施更智能、業(yè)務(wù)生態(tài)更豐富、資源配置更科學(xué)、運(yùn)營管理更高效、用戶質(zhì)態(tài)更好、收入質(zhì)量更高、客戶體驗(yàn)更優(yōu)。這一切都離不開IT系統(tǒng)和硬件的升級改造。

記者有幸走訪了中國電信四川分公司（以下簡稱：四川電信），探尋其是如何對傳統(tǒng)IT系統(tǒng)進(jìn)行升級改造，又是如何實(shí)現(xiàn)高質(zhì)量通信發(fā)展。

面對挑戰(zhàn)，創(chuàng)新勢在必行

高速增長的業(yè)務(wù)對中國電信的各項(xiàng)支撐系統(tǒng)，特別是位于核心的計(jì)費(fèi)系統(tǒng)，提出了嚴(yán)峻考驗(yàn)，在人口密集、業(yè)務(wù)繁忙的四川省尤為明顯。

而隨著電信業(yè)務(wù)日趨多元，以及信息通信技術(shù)加速融合，四川電信為能夠?qū)崟r(shí)響應(yīng)市場需求，持續(xù)推出“抖音無線流量卡”、“9元隨心卡”等創(chuàng)新產(chǎn)品和業(yè)務(wù)，在為用戶帶來更多優(yōu)惠和豐富多樣的消費(fèi)選擇時(shí)，這些新業(yè)務(wù)往往具有跨網(wǎng)絡(luò)、多產(chǎn)品捆綁以及組合營銷的特點(diǎn)，并涉及了大量賬務(wù)優(yōu)惠產(chǎn)生的流量贈(zèng)送、話費(fèi)分?jǐn)?、定向減免等數(shù)據(jù)。這些數(shù)據(jù)對實(shí)時(shí)性和準(zhǔn)確性有著非常嚴(yán)苛的要求，給四川電信的基礎(chǔ)運(yùn)營設(shè)施，尤其是計(jì)費(fèi)系統(tǒng)帶來了巨大挑戰(zhàn)。

四川電信企業(yè)信息化部基礎(chǔ)平臺技術(shù)經(jīng)理李華向記者介紹時(shí)表示：“我們現(xiàn)有的IT系統(tǒng)主要集中在計(jì)費(fèi)和CRM上。近年來，IT數(shù)據(jù)快速膨脹，計(jì)費(fèi)是占比最大的。在極端情況下，有時(shí)需要一天處理7千萬用戶、千億級別的話單。其次， 隨著電信從2G到3G到4G，未來實(shí)現(xiàn)5G，每次跨代處理數(shù)據(jù)量都有5～10倍的增加。2019年，我們還要做到計(jì)費(fèi)在每月1號出賬，這對計(jì)費(fèi)要求的時(shí)延變低了，而數(shù)據(jù)量變高了，怎么解決這個(gè)問題是目前最大的挑戰(zhàn)?？梢哉f，I/O情況是最大的瓶頸，亟待解決?！?/p>

四年歷程，效果立竿見影

發(fā)現(xiàn)問題，就立刻解決。記者了解到，從2014年開始四川電信就著手對傳統(tǒng)IT系統(tǒng)進(jìn)行升級改造，并“大膽”嘗試新技術(shù)新硬件。

早在2014年，四川電信就同英特爾展開技術(shù)合作，開始引入分布式存儲(chǔ)和SSD改造原有硬件架構(gòu)。直到目前，雖然業(yè)務(wù)數(shù)據(jù)量年年快速增長，但四川電信的IT系統(tǒng)已連續(xù)4年未采購集中存儲(chǔ)。這在以前是難以想象的，數(shù)據(jù)顯示，在2014年以前四川電信IT系統(tǒng)每年集中存儲(chǔ)的采購量在500TB到1PB之間。

從2016年開始，四川電信對核心數(shù)據(jù)庫進(jìn)行分布式存儲(chǔ)改造，用以解決集中式存儲(chǔ)始終存在的一些瓶頸，釋放現(xiàn)代SSD存儲(chǔ)的優(yōu)異性能。2017年完成了整個(gè)CRM核心數(shù)據(jù)庫的分布式存儲(chǔ)改造。到2018年上半年，實(shí)現(xiàn)計(jì)費(fèi)賬務(wù)核心數(shù)據(jù)庫的分布式存儲(chǔ)改造，并再次引入英特爾傲騰產(chǎn)品和技術(shù)，用來彌補(bǔ)傳統(tǒng)NAND SSD存在的一些短板，從而避免極端情況下的系統(tǒng)故障。目前，四川電信在PAAS平臺上已經(jīng)大規(guī)模使用了NAND SSD+傲騰的產(chǎn)品組合。

四川電信資深技術(shù)專家胡杰指出：“擁有7000萬用戶，每個(gè)月各種話單處理量在900到1000億之間，數(shù)據(jù)的快速膨脹和業(yè)務(wù)時(shí)效要求越來越高。從目前運(yùn)行的情況來看，I/O是我們遇到的最大瓶頸，也是我們要引入NAND SSD+傲騰的原因。”

胡杰坦言：” 傳統(tǒng)運(yùn)營商是比較保守的，他們對SSD的部分性能抱有一些疑議，對可靠性也比較擔(dān)憂，還是傾向于使用傳統(tǒng)陣列。相對而言，我們在這方面走得比較激進(jìn)一些，我個(gè)人來說比較傾向用最簡單、最有效的技術(shù)，來解決我們目前面臨的I/O性能瓶頸。從實(shí)際應(yīng)用來看，在極端性情況和高要求的場景下使用NAND SSD+傲騰是非常適合的?！?/p>

回顧幾年來對IT系統(tǒng)的升級改造，胡杰感觸良多?！白鳛樗拇娦诺腎T部門，我們叫做企業(yè)信息化部。IT系統(tǒng)的升級改造過程中，很多小系統(tǒng)在用滾動(dòng)的方式推動(dòng)升級改造。而針對比較核心的系統(tǒng)、有I/O壓力的系統(tǒng)，我們都大膽地使用分布式存儲(chǔ)和SSD的方式改造。下一步，因?yàn)橛行┫到y(tǒng)隨著技術(shù)和市場進(jìn)步會(huì)自動(dòng)消亡，如果使用新系統(tǒng)的話，我們就會(huì)采用新技術(shù)，盡量去掉Oracle DB，采用分布式架構(gòu)數(shù)據(jù)庫，像PG或者是MySQL集群這種方式來盡量避免不再使用集中存儲(chǔ)。對于SSD我們會(huì)繼續(xù)大規(guī)模使用，因?yàn)楝F(xiàn)在看I/O的吞吐需求每年都在以幾何級數(shù)增長。不管是傳統(tǒng)系統(tǒng)還是大數(shù)據(jù)系統(tǒng)都增長很快。”胡杰表示。

一定要以實(shí)際數(shù)據(jù)說話

在被問及為什么多年來一直堅(jiān)持與英特爾合作，并始終選擇最新的產(chǎn)品和技術(shù)時(shí)，胡杰說：”我們就是以具體生產(chǎn)系統(tǒng)的實(shí)際數(shù)據(jù)來說話，經(jīng)過大量的在線測試，選擇性能更好、穩(wěn)定性更高、投入產(chǎn)出比更優(yōu)的技術(shù)和硬件?！?/p>

從四川電信目前的計(jì)費(fèi)數(shù)據(jù)庫來看，每天都要進(jìn)行海量的寫入，最極端的情況下，一塊SSD一天會(huì)被擦寫十遍。胡杰表示：” 如果還使用傳統(tǒng)NAND SSD，可能一年左右就會(huì)被報(bào)銷（DWPD數(shù)據(jù)比較好的情況是3左右），但是用傲騰（DWPD可以達(dá)到60）以后，在整個(gè)生命周期當(dāng)中不用再擔(dān)心這個(gè)壽命問題。其次，我覺得傲騰最大的優(yōu)點(diǎn)，就是高I/O情況下，長期進(jìn)行大數(shù)據(jù)量的寫入，依然能保持極其穩(wěn)定的時(shí)延?！?/p>

如圖所示，胡杰向記者展示了當(dāng)天截取的數(shù)據(jù)分析，因?yàn)榇罅康膶懭耄谄胀∟AND SSD上可以看到，一段時(shí)間內(nèi)NAND回收機(jī)制被觸發(fā)時(shí)讀寫時(shí)延會(huì)顯著變長，有些情況下，甚至出現(xiàn)了秒級時(shí)延，系統(tǒng)進(jìn)程處于等待I/O完成的狀態(tài)。而在使用傲騰時(shí)，表示延遲的紅線非常平緩，其余NAND SSD則出現(xiàn)了巨大峰值（普通SSD時(shí)延）。而且在采集時(shí)延對比數(shù)據(jù)時(shí)，傲騰上面承載的IOPS比傳統(tǒng)SSD高很多。對于企業(yè)級用戶來說，傲騰的這些優(yōu)勢十分重要。

胡杰還指出，目前絕大部分運(yùn)營商的數(shù)據(jù)庫還是基于傳統(tǒng)的集中式存儲(chǔ)架構(gòu)。根據(jù)參考OracleDB一體機(jī)架構(gòu)，使用RDMA+NVMe SSD，在沒有完成整個(gè)系統(tǒng)的分布式架構(gòu)改造之前，已可以解決數(shù)據(jù)庫極高I/O的問題，是目前比較理想的架構(gòu)。

此外，記者還了解到，四川電信正在對NVMe over Fabrics進(jìn)行性能評測，從測試數(shù)據(jù)看，性能將有40%到60%的提升。胡杰表示，隨著NVMe over Fabrics的不斷成熟，這樣不但在存儲(chǔ)側(cè)采用傲騰等新技術(shù)來提升存儲(chǔ)處理能力，還在網(wǎng)絡(luò)側(cè)優(yōu)化存儲(chǔ)傳輸?shù)男?，未來將大?guī)模使用這種技術(shù)，并與英特爾一起對其潛力進(jìn)一步深挖。