国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

IT支撐系統(tǒng)技術(shù)架構(gòu)的去電信化思考

2014-06-28 03:51田熙清陳泳胡穎茂
移動(dòng)通信 2014年5期
關(guān)鍵詞:應(yīng)用程序集群分布式

田熙清 陳泳 胡穎茂

1 引言

隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,產(chǎn)業(yè)鏈的重點(diǎn)及利潤在向上層業(yè)務(wù)提供商和終端廠家進(jìn)行轉(zhuǎn)移,運(yùn)營商陷入了“管道化”的危險(xiǎn),因此中國電信提出了“去電信化”的轉(zhuǎn)型思路,逐步擺脫目前的發(fā)展模式和發(fā)展困境。

電信IT支撐系統(tǒng)最早可以追溯到上個(gè)世紀(jì)90年代末的“九七工程”,即實(shí)現(xiàn)本地網(wǎng)電話業(yè)務(wù)的計(jì)算機(jī)綜合管理,通過計(jì)算機(jī)自動(dòng)化管理,減少過多的人工干預(yù)。2002年,中國電信制定了企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0版本,首次把IT支撐系統(tǒng)明確劃分為MSS(管理支撐系統(tǒng))、BSS(業(yè)務(wù)支撐系統(tǒng))、OSS(運(yùn)營支撐系統(tǒng))和EDA(企業(yè)數(shù)據(jù)應(yīng)用)四大域,采用EAI技術(shù),制定松耦合、模塊化、可配置的技術(shù)架構(gòu),實(shí)現(xiàn)了核心IT支撐系統(tǒng)“省集中”的建設(shè)和運(yùn)營。2007年,中國電信升級(jí)ITSP到2.0版本,遵循“數(shù)據(jù)與功能分離,功能和流程分離,應(yīng)用與展現(xiàn)分離,生產(chǎn)與分析分離”的技術(shù)原則,引入SOA(Service-Oriented Architecture,面向服務(wù)架構(gòu))技術(shù),在省公司層面整合、集中和優(yōu)化核心系統(tǒng),在集團(tuán)公司層面建設(shè)了集團(tuán)級(jí)系統(tǒng),順利完成移動(dòng)網(wǎng)絡(luò)業(yè)務(wù)割接,實(shí)現(xiàn)了差異化融合業(yè)務(wù)及全國全網(wǎng)業(yè)務(wù)的IT支撐。

目前電信IT支撐系統(tǒng)以省級(jí)公司為單位進(jìn)行集中建設(shè),技術(shù)架構(gòu)上廣泛采用傳統(tǒng)成熟的IOE集中式架構(gòu),即以IBM小型機(jī)、Oracle數(shù)據(jù)庫及EMC高端存儲(chǔ)為主,軟件提供商開發(fā)相應(yīng)的應(yīng)用程序運(yùn)行在IOE架構(gòu)上,這種架構(gòu)的優(yōu)點(diǎn)是成熟穩(wěn)定,為電信業(yè)務(wù)快速發(fā)展提供了業(yè)務(wù)上的保障。但隨著企業(yè)“去電信化”轉(zhuǎn)型思路的發(fā)展,系統(tǒng)性能不高、柔性不足以及投資成本居高不下的問題日益嚴(yán)重。

2 現(xiàn)狀及挑戰(zhàn)

2.1 IT支撐系統(tǒng)現(xiàn)狀

電信IT支撐系統(tǒng)邏輯架構(gòu)如圖1所示,包含門戶層、應(yīng)用層、服務(wù)層、數(shù)據(jù)層和基礎(chǔ)設(shè)施層等,使用者為客戶、合作伙伴和內(nèi)部員工。系統(tǒng)為客戶提供售前、售中和售后的端到端流程服務(wù),包含訂購、交付、計(jì)費(fèi)及客戶服務(wù)等功能。合作伙伴主要指銷售渠道代理商,IT支撐系統(tǒng)為其提供訂購、傭金結(jié)算等服務(wù)。內(nèi)部員工按照工作崗位角色的不同,使用不同域的系統(tǒng)功能。

門戶層針對(duì)不同的用戶分為客戶自助門戶、合作伙伴門戶和內(nèi)部員工門戶,作為不同用戶使用IT系統(tǒng)功能的統(tǒng)一入口。

應(yīng)用層包含四大域的不同系統(tǒng)功能,包含BSS域的客戶關(guān)系管理(CRM)、計(jì)費(fèi)、賬務(wù)、結(jié)算及客戶服務(wù)(10000號(hào))等功能;OSS域的服務(wù)開通、服務(wù)保障、裝維調(diào)度、綜合激活、資源管理及網(wǎng)絡(luò)管理等功能;MSS域的財(cái)務(wù)管理、企業(yè)資源計(jì)劃管理(ERP)、人力資源、公文流轉(zhuǎn)(OA)、知識(shí)管理等功能;EDA域的決策支持、經(jīng)營分析、運(yùn)營分析、管理分析以及做專題應(yīng)用的數(shù)據(jù)集市等功能。從處理方式來看,BSS、OSS和MSS域?qū)儆诼?lián)機(jī)事務(wù)處理(OLTP)系統(tǒng),EDA域?qū)儆诼?lián)機(jī)分析處理(OLAP)系統(tǒng)。

服務(wù)層包含企業(yè)服務(wù)總線(ESB)、數(shù)據(jù)總線及目錄服務(wù),ESB以服務(wù)接口方式實(shí)現(xiàn)系統(tǒng)間的服務(wù)調(diào)用,數(shù)據(jù)總線實(shí)現(xiàn)批量數(shù)據(jù)傳遞。

數(shù)據(jù)層包含企業(yè)數(shù)據(jù)模型中各主體域數(shù)據(jù),如客戶、產(chǎn)品與服務(wù)、渠道、賬務(wù)、資源、人力、財(cái)務(wù)、物質(zhì)和工程等。

基礎(chǔ)設(shè)施層包含小型機(jī)、x86服務(wù)器、存儲(chǔ)以及IT系統(tǒng)間的內(nèi)部專用網(wǎng)絡(luò)。

在物理實(shí)現(xiàn)上,門戶層有Web頁面和C/S客戶端接入方式;應(yīng)用層應(yīng)用程序主要搭建在WebLogic、Tuxedo等商業(yè)中間件上;服務(wù)層采用商用ESB組件;數(shù)據(jù)層數(shù)據(jù)主要存放在Oracle數(shù)據(jù)庫中;基礎(chǔ)設(shè)施以IBM小機(jī)、EMC存儲(chǔ)架構(gòu)為主。在部署架構(gòu)上采用二級(jí)部署,一級(jí)為集團(tuán)公司總部,下面以省公司為單位獨(dú)立部署,通過總部樞紐節(jié)點(diǎn)進(jìn)行互聯(lián)。

2.2 “去電信化”轉(zhuǎn)型挑戰(zhàn)

在企業(yè)“去電信化”轉(zhuǎn)型發(fā)展思路下,對(duì)IT支撐系統(tǒng)提出了新的挑戰(zhàn):

(1)在“去電信化”戰(zhàn)略下,電信以開放的心態(tài),向產(chǎn)業(yè)鏈上下游進(jìn)行拓展。系統(tǒng)使用者發(fā)生了結(jié)構(gòu)性變化,以前主要用戶為營業(yè)員、話務(wù)員、客戶經(jīng)理以及內(nèi)部員工,少量渠道代理商用戶,而現(xiàn)在擴(kuò)展到電商、終端提供商等,前者如天貓、京東等,后者如蘋果公司等。

(2)隨著電信、媒體和信息、互聯(lián)網(wǎng)內(nèi)容和應(yīng)用、終端制造、電子商務(wù)等行業(yè)“花園圍墻”的倒塌,對(duì)手相互進(jìn)入對(duì)方領(lǐng)域,所以除了支撐傳統(tǒng)業(yè)務(wù)外,IT支撐系統(tǒng)需要支撐互聯(lián)網(wǎng)基地業(yè)務(wù)、海外業(yè)務(wù)以及行業(yè)應(yīng)用等。

(3)隨著4G牌照的發(fā)放,網(wǎng)絡(luò)建設(shè)投資將不斷增加,企業(yè)IT投入只減不增,另外IOE架構(gòu)在后期維護(hù)成本(OPEX)壓力越來越大。

新的挑戰(zhàn)對(duì)IT支撐系統(tǒng)提出了新的要求:

(1)對(duì)外部用戶需要提供流暢的客戶體驗(yàn),像互聯(lián)網(wǎng)公司一樣的高并發(fā)性能;

(2)對(duì)新業(yè)務(wù)的快速響應(yīng)能力,當(dāng)前IT支撐系統(tǒng)版本升級(jí)流程復(fù)雜冗長(zhǎng),一個(gè)業(yè)務(wù)需求往往需要2~3個(gè)月才能實(shí)現(xiàn);

(3)IT投資減少,倒逼IT支撐系統(tǒng)借鑒互聯(lián)網(wǎng)公司成功的技術(shù)路線,進(jìn)行技術(shù)架構(gòu)轉(zhuǎn)型來支撐業(yè)務(wù)的快速發(fā)展。

3 思考及演進(jìn)思路

3.1 技術(shù)架構(gòu)去電信化思考:去IOE

新的挑戰(zhàn)及要求,倒逼技術(shù)架構(gòu)改變目前集中式的系統(tǒng)架構(gòu),演變成具有良好橫向擴(kuò)展能力,高并發(fā)性能,高度柔性,低成本構(gòu)建并且自主掌控,能夠快速響應(yīng)的新一代IT系統(tǒng)架構(gòu)。

在這方面,優(yōu)秀的互聯(lián)網(wǎng)公司已經(jīng)進(jìn)行了先行探索,并獲得了巨大成功,值得借鑒。淘寶從2003年開始,系統(tǒng)架構(gòu)大體經(jīng)歷了三次大的調(diào)整和演進(jìn):

(1)2003年采用LAMP(Linux+Apahce+MySQL+

PHP)架構(gòu),部署在PC服務(wù)器上,數(shù)據(jù)庫采用讀寫分離,但由于MySQL讀操作會(huì)鎖表,主從復(fù)制時(shí)會(huì)對(duì)Master數(shù)據(jù)庫產(chǎn)生大量的讀操作,使得主庫性能急劇下降。endprint

(2)2004—2008年,采用IOE架構(gòu),用Oracle替代MySQL,部署在小機(jī)上,存儲(chǔ)由NAS(Network Attached Storage,網(wǎng)絡(luò)附加存儲(chǔ))換成了EMC的SAN(Storage Area Network,存儲(chǔ)區(qū)域網(wǎng)絡(luò)),開發(fā)語言變成了Java,在此期間,對(duì)數(shù)據(jù)庫進(jìn)行分庫分表,冷熱分離,在應(yīng)用程序和數(shù)據(jù)庫之間增加Cache層、CDN(Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))等措施來提高數(shù)據(jù)庫讀寫性能,但隨著業(yè)務(wù)的急速發(fā)展,存儲(chǔ)永遠(yuǎn)不夠用,性能永遠(yuǎn)不夠高。

(3)2009年開始,采用去IOE架構(gòu),x86服務(wù)器取代了小機(jī),數(shù)據(jù)存儲(chǔ)由MySQL Cluster和自主開發(fā)的NoSQL數(shù)據(jù)庫取代了Oracle RAC(Real Application Cluster),存儲(chǔ)采用硬盤和SSD(Solid State Disk,固態(tài)硬盤)技術(shù),搭建分布式的技術(shù)架構(gòu),并成功應(yīng)對(duì)了2012年的“雙十一”促銷,贏得了業(yè)界的關(guān)注和贊賞。

淘寶面對(duì)爆炸式的業(yè)務(wù)增長(zhǎng)和高昂的擴(kuò)容成本,采用去IOE的技術(shù)架構(gòu),廣泛使用開源技術(shù)進(jìn)行自主開發(fā)中間件、數(shù)據(jù)庫,對(duì)傳統(tǒng)企業(yè)的技術(shù)架構(gòu)演變極有參考價(jià)值。

中國電信近5年來,隨著C網(wǎng)和寬帶用戶的快速發(fā)展,以及固網(wǎng)用戶的負(fù)增長(zhǎng),雖然總用戶量年均增長(zhǎng)率只有10%左右(見圖2),但用戶的使用量(包含話單、認(rèn)證、停復(fù)機(jī)等)呈快速增長(zhǎng)趨勢(shì)。以最大子公司廣東電信為例,2012年話單增長(zhǎng)量比2011年增長(zhǎng)了51.5%。另外按照“去電信化”發(fā)展思路,營銷日趨電商化,存在很多瞬間高并發(fā)的應(yīng)用場(chǎng)景,如終端首發(fā)、秒殺等。

目前傳統(tǒng)IT技術(shù)架構(gòu)僅能維持暫時(shí)的穩(wěn)定,隨著用戶快速發(fā)展,“去電信化”轉(zhuǎn)型戰(zhàn)略發(fā)展的深入,不斷壓縮的IT投資,后續(xù)IT支撐系統(tǒng)壓力將越來越大,勢(shì)必需要對(duì)目前IT技術(shù)架構(gòu)進(jìn)行重新思考并梳理演進(jìn)路線。

業(yè)務(wù)的快速發(fā)展、淘寶等互聯(lián)網(wǎng)公司去IOE化的成功,為電信IT支撐系統(tǒng)技術(shù)架構(gòu)的演進(jìn)提供了方向:去IOE化。利用開源軟件,進(jìn)行自主研發(fā),搭建高性能、高柔性、低成本的分布式系統(tǒng)。從軟硬件發(fā)展來看,具有可行性。

(1)近10年來,根據(jù)IDC統(tǒng)計(jì),x86服務(wù)器的市場(chǎng)占有率在不斷擠壓小型機(jī)的市場(chǎng)占有率。很多互聯(lián)網(wǎng)企業(yè)和傳統(tǒng)企業(yè),把關(guān)鍵應(yīng)用逐步遷移到x86服務(wù)器集群上。

以業(yè)界認(rèn)可程度較高的SPEC CPU2006第三方基準(zhǔn)測(cè)試結(jié)果作為主流4路中高端小型機(jī)和x86服務(wù)器的對(duì)比依據(jù),可以看到兩者的CPU處理能力差別不大。具體如表1所示:

表1 SPEC CINT2006 Rates Base結(jié)果對(duì)比

服務(wù)器 類型 CPU配置 CINT2006 Rates Base

IBM P750+ 小型機(jī) Power 7+ 4.2GHz 32核 1230

IBM x3850 X5 PC Server E7-4870 2.4GHz 40核 1080

華為 Tecal RH5885 V2 PC Server E7-4870 2.4GHz 40核 1100

DELL r910 PC Server E7-4870 2.4GHz 40核 1030

注:CINT2006用來測(cè)量和比較計(jì)算密集型的整數(shù)性能,Rates Base是指整機(jī)CPU性能在缺省優(yōu)化規(guī)則下的基準(zhǔn)結(jié)果。

另外根據(jù)中國電信評(píng)測(cè)實(shí)驗(yàn)室基于典型省份CRM系統(tǒng)業(yè)務(wù)場(chǎng)景定制的CTB-C(China Telecom Benchmark-CRM)基準(zhǔn)測(cè)試結(jié)果,核心系統(tǒng)中常用4路小型機(jī)和x86服務(wù)器在綜合負(fù)載下的性能、能耗和指標(biāo)相比也非常相近。

(2)今天的開源軟件不斷成熟,并在大型互聯(lián)網(wǎng)公司得到了大規(guī)模的驗(yàn)證,同時(shí)社區(qū)非?;钴S。

(3)存儲(chǔ)技術(shù)不斷發(fā)展,SSD和PCIe Flash技術(shù)在IOPS(Input/Output Operations Per Second)、延遲方面,相比于機(jī)械硬盤,SSD提高了30多倍,PCIe Flash最高可達(dá)900多萬IOPS,而延遲降低到幾十微秒。

(4)互聯(lián)設(shè)備也在不斷發(fā)展,Infiniband是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù),傳輸帶寬可達(dá)40~56GB/s,延遲降到納秒級(jí)別。相比于SAN,帶寬提高了4~5倍,延遲降低了近10倍。

3.2 技術(shù)架構(gòu)演進(jìn)思路

基于硬件的快速發(fā)展以及開源軟件的不斷成熟,IT支撐系統(tǒng)技術(shù)架構(gòu)演進(jìn)的參考目標(biāo)如圖3所示。

(1)基礎(chǔ)設(shè)施層用x86工業(yè)標(biāo)準(zhǔn)的PC Server集群取代小型機(jī),以開源操作系統(tǒng)Cent OS取代商業(yè)操作系統(tǒng),以開源虛擬化軟件Xen取代商業(yè)軟件。

(2)數(shù)據(jù)層把單一Oracle數(shù)據(jù)庫根據(jù)不同應(yīng)用場(chǎng)景,用MySQL集群、NoSQL數(shù)據(jù)庫以及分布式文件系統(tǒng)進(jìn)行替代。OLTP系統(tǒng)的強(qiáng)一致性數(shù)據(jù),如客戶、產(chǎn)品及訂單、資源等,按照地市、主題以分片(shard)方式存放在MySQL集群中;OLTP系統(tǒng)的歷史數(shù)據(jù)根據(jù)信息生命周期的不同從核心數(shù)據(jù)庫進(jìn)行剝離,存放到磁帶或者分布式文件系統(tǒng)中;OLAP系統(tǒng)分析性數(shù)據(jù)的計(jì)算遷移到關(guān)系型數(shù)據(jù)庫外,采用大數(shù)據(jù)技術(shù)(如Hadoop分布式處理技術(shù)、Strom分布式實(shí)時(shí)計(jì)算技術(shù)等)進(jìn)行處理,處理結(jié)果放入關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)和SQL的訪問。

(3)在服務(wù)層增加自主開發(fā)的分布式服務(wù)框架和分布式數(shù)據(jù)層,實(shí)現(xiàn)數(shù)據(jù)層的分布對(duì)應(yīng)用層透明,增強(qiáng)系統(tǒng)橫向擴(kuò)展能力。

(4)在應(yīng)用層采用JBoss等廣泛應(yīng)用的開源中間件取代商業(yè)中間件,如WebLogic、Tuxedo等。

(5)在門戶層推進(jìn)客戶端的Web化,同時(shí)為了適應(yīng)移動(dòng)互聯(lián)網(wǎng)的應(yīng)用場(chǎng)景,拓展移動(dòng)客戶端的接入。endprint

傳統(tǒng)架構(gòu)向目標(biāo)架構(gòu)的轉(zhuǎn)變,涉及到思維觀念、人才隊(duì)伍、技術(shù)架構(gòu)驗(yàn)證和工程實(shí)施等多方面困難,直接一步演進(jìn)到目標(biāo)架構(gòu),存在很多不確定的風(fēng)險(xiǎn),并且不現(xiàn)實(shí)。為了實(shí)現(xiàn)平滑穩(wěn)健的過渡,可以分成幾個(gè)階段:

(1)基礎(chǔ)設(shè)施層的資源池建設(shè):針對(duì)不同應(yīng)用場(chǎng)景(如計(jì)費(fèi)系統(tǒng)需要并發(fā)量不大,但批處理吞吐率高;營業(yè)受理系統(tǒng)需要高并發(fā)處理能力),搭建基于x86工業(yè)標(biāo)準(zhǔn)的PC Server集群,通過虛擬化軟件對(duì)集群進(jìn)行虛擬化管理和規(guī)?;\(yùn)營。在此階段針對(duì)部分應(yīng)用,用x86服務(wù)器代替小型機(jī)。

(2)大數(shù)據(jù)處理:把目前基于Oracle的OLAP系統(tǒng),完全采用大數(shù)據(jù)技術(shù),如Hadoop、Strom等技術(shù)進(jìn)行處理,并把處理結(jié)果放入到關(guān)系型數(shù)據(jù)庫中,提供對(duì)外查詢和分析。

(3)核心輕量化:從核心系統(tǒng)剝離大數(shù)據(jù)量查詢功能,放入到NoSQL數(shù)據(jù)庫或分布式文件系統(tǒng)中,減輕核心在線系統(tǒng)負(fù)擔(dān),提高核心系統(tǒng)處理能力,如清單查詢、賬單查詢、積分查詢、日志查詢、電子回執(zhí)等非實(shí)時(shí)穩(wěn)定數(shù)據(jù)剝離到Hadoop中,基于多條件查詢且穩(wěn)定的訂單/工單歷史數(shù)據(jù)剝離到搜索引擎中,部分常用數(shù)據(jù)可以緩存到NoSQL數(shù)據(jù)庫(如Redis、MogonDB)中。另外,在原有IOE集中式架構(gòu)下,存在大量關(guān)系和聚合運(yùn)算,例如關(guān)聯(lián)查詢、統(tǒng)計(jì)分析等,利用Oracle數(shù)據(jù)庫的存儲(chǔ)過程,依賴數(shù)據(jù)庫計(jì)算能力,消耗大量的資源,需要把基于存儲(chǔ)過程的計(jì)算功能從數(shù)據(jù)庫層剝離,數(shù)據(jù)庫退化為單純的數(shù)據(jù)存儲(chǔ),使得數(shù)據(jù)分拆成為可能,原有的關(guān)系和聚合運(yùn)算需轉(zhuǎn)移到應(yīng)用層實(shí)現(xiàn)。

(4)核心數(shù)據(jù)庫的讀寫分離:據(jù)統(tǒng)計(jì),核心數(shù)據(jù)庫的讀寫非常不對(duì)稱,讀請(qǐng)求遠(yuǎn)大于寫請(qǐng)求,所以對(duì)于關(guān)鍵應(yīng)用以及要求強(qiáng)一致性的數(shù)據(jù),考慮人員及技能無法短期內(nèi)實(shí)現(xiàn)完全去Oracle數(shù)據(jù)庫,先進(jìn)行讀寫分離,寫操作到Oracle數(shù)據(jù)庫中,采用數(shù)據(jù)復(fù)制技術(shù),應(yīng)用層的讀操作源于MySQL集群。本階段既能保證強(qiáng)一致性數(shù)據(jù)的穩(wěn)定性,又能驗(yàn)證和測(cè)試MySQL集群系統(tǒng),同時(shí)還可以鍛煉和培養(yǎng)MySQL分布式數(shù)據(jù)庫隊(duì)伍和人才。

(5)全面去IOE:在核心數(shù)據(jù)庫讀寫分離基礎(chǔ)上,建立了完善的分布式MySQL集群數(shù)據(jù)庫,把BSS和OSS系統(tǒng)核心數(shù)據(jù)庫按地市、主題進(jìn)行分庫分表,對(duì)BSS和OSS核心系統(tǒng)進(jìn)行全面拆分,進(jìn)行分布式改造,從而實(shí)現(xiàn)全面去IOE。

基礎(chǔ)設(shè)施層的資源池建設(shè)是IT系統(tǒng)技術(shù)架構(gòu)演變的基礎(chǔ)。大數(shù)據(jù)處理技術(shù)是OLAP系統(tǒng)轉(zhuǎn)型的必由之路,現(xiàn)有技術(shù)無法滿足大數(shù)據(jù)的計(jì)算和處理。核心輕量化可以減輕核心系統(tǒng)計(jì)算和存儲(chǔ)壓力,提升關(guān)鍵應(yīng)用性能,為OLTP型系統(tǒng)架構(gòu)轉(zhuǎn)型贏得時(shí)間。核心數(shù)據(jù)庫的讀寫分離,探索MySQL數(shù)據(jù)庫集群對(duì)Oracle數(shù)據(jù)庫替代的開發(fā)和驗(yàn)證,既保證了核心系統(tǒng)對(duì)外服務(wù)的能力,又能培養(yǎng)和鍛煉分布式數(shù)據(jù)庫的隊(duì)伍和人才。經(jīng)過前面幾個(gè)階段有步驟的去I/E和O后,全面去IOE水到渠成,實(shí)現(xiàn)了IT支撐系統(tǒng)技術(shù)架構(gòu)的轉(zhuǎn)型。

4 難點(diǎn)、應(yīng)對(duì)措施及關(guān)鍵技術(shù)

4.1 架構(gòu)轉(zhuǎn)型難點(diǎn)及應(yīng)對(duì)措施

目前IT支撐系統(tǒng)技術(shù)架構(gòu)已經(jīng)平穩(wěn)運(yùn)營了10年時(shí)間,向新的技術(shù)架構(gòu)進(jìn)行轉(zhuǎn)型,勢(shì)必存在許多難點(diǎn):

(1)思維觀念方面,傳統(tǒng)IOE架構(gòu)是同類產(chǎn)品中的最佳組合,天然渾成,穩(wěn)定性好,有成熟供應(yīng)商支撐,為什么要去IOE?因?yàn)镮OE架構(gòu)橫向擴(kuò)展能力差,系統(tǒng)性能和柔性不足,投資成本居高不下,在企業(yè)去電信化轉(zhuǎn)型思路下已經(jīng)到了非去不可的地步,需要靠高層領(lǐng)導(dǎo)強(qiáng)有力的意志去推動(dòng),對(duì)IT從業(yè)人員加強(qiáng)互聯(lián)網(wǎng)心智、思維方面的宣貫和培養(yǎng)。

(2)人才隊(duì)伍方面,10年前,電信放棄了自己開發(fā)IT支撐系統(tǒng)的模式,轉(zhuǎn)而向供應(yīng)商進(jìn)行采購,現(xiàn)有的IT從業(yè)人員以系統(tǒng)維護(hù)為主,而去IOE架構(gòu)對(duì)硬件規(guī)模管理、開源軟件、運(yùn)營式開發(fā)等方面提出了很高的要求。人才隊(duì)伍培養(yǎng)非一朝一夕之事,在架構(gòu)演進(jìn)的過渡時(shí)期,可抽調(diào)內(nèi)部精兵強(qiáng)將,輔以外包人才,組成獨(dú)立開發(fā)隊(duì)伍,采用運(yùn)營式開發(fā)流程,完成基礎(chǔ)設(shè)施層的云化和數(shù)據(jù)庫層的分布式改造工作,得以培養(yǎng)和鍛煉隊(duì)伍及人才。在完全去IOE階段,應(yīng)用層開發(fā)要求對(duì)業(yè)務(wù)邏輯非常熟練,可以交由目前的供應(yīng)商進(jìn)行聯(lián)合開發(fā)。

(3)去IOE架構(gòu)的前景非常美好,但未來不能越過當(dāng)下,互聯(lián)網(wǎng)公司的方法論及工程實(shí)踐,并不一定適合傳統(tǒng)企業(yè),需要根據(jù)企業(yè)的發(fā)展戰(zhàn)略,對(duì)IT支撐系統(tǒng)架構(gòu)轉(zhuǎn)型進(jìn)行有步驟的論證和演進(jìn),找到自己的節(jié)奏和控制力。

4.2 架構(gòu)轉(zhuǎn)型關(guān)鍵技術(shù)

根據(jù)上述演進(jìn)思路及策略,IT支撐系統(tǒng)技術(shù)架構(gòu)轉(zhuǎn)型關(guān)鍵技術(shù)包含:

(1)資源池云化技術(shù):包含資源(x86服務(wù)器、小機(jī)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò))虛擬化、資源動(dòng)態(tài)調(diào)度及監(jiān)控、用戶申請(qǐng)使用及管理等功能,建設(shè)生產(chǎn)環(huán)境云和測(cè)試環(huán)境云。

(2)大數(shù)據(jù)處理技術(shù):包含大規(guī)模的分布式處理技術(shù)Hadoop、分布式實(shí)時(shí)計(jì)算技術(shù)Strom,前者包含Map-Redude、YARN、HBase、Hive等。

(3)數(shù)據(jù)路由技術(shù):在去IOE架構(gòu)下,數(shù)據(jù)由過去的集中式管理變成分布式存儲(chǔ)和管理,按照地市、主題進(jìn)行分庫分表(shard方式)存放,某些量大的數(shù)據(jù)還面臨二次及多次拆分,分布式數(shù)據(jù)庫集群需要對(duì)上層應(yīng)用透明,分布式數(shù)據(jù)層需要實(shí)現(xiàn)數(shù)據(jù)路由功能,屏蔽分表對(duì)應(yīng)用帶來的復(fù)雜性,解決跨表及多維度查詢問題。

(4)數(shù)據(jù)復(fù)制技術(shù):在核心數(shù)據(jù)庫讀寫分離階段,數(shù)據(jù)復(fù)制是最重要的工作之一,要求復(fù)制延遲盡可能小,保證數(shù)據(jù)盡快達(dá)到最終一致性。常用數(shù)據(jù)復(fù)制技術(shù)有:數(shù)據(jù)庫之間的復(fù)制、通過應(yīng)用程序完成數(shù)據(jù)復(fù)制。

1)數(shù)據(jù)庫之間的復(fù)制如圖4所示,應(yīng)用程序向Oracle數(shù)據(jù)庫進(jìn)行讀寫操作,利用第三方工具把數(shù)據(jù)復(fù)制到MySQL數(shù)據(jù)庫中。這種方法無需改造應(yīng)用層,但第三方工具對(duì)MySQL集群的分庫分表規(guī)則不清楚,能否快速支持開發(fā),需要進(jìn)一步驗(yàn)證。另外,第三方工具為了提高資源使用率,利用Oracle數(shù)據(jù)庫的日志進(jìn)行批量同步復(fù)制,時(shí)間延遲是一種考驗(yàn)。endprint

2)通過應(yīng)用程序完成數(shù)據(jù)復(fù)制方案如圖5所示,步驟為:應(yīng)用程序?qū)憯?shù)據(jù)日志→應(yīng)用程序?qū)慜racle數(shù)據(jù)庫→異步通知分布式數(shù)據(jù)層→分布式數(shù)據(jù)層實(shí)時(shí)逐條讀取數(shù)據(jù)日志→分布式數(shù)據(jù)層寫MySQL數(shù)據(jù)庫集群。前三步作為一個(gè)事務(wù),確保讀寫操作的一致,寫MySQL數(shù)據(jù)庫進(jìn)行異步操作。這種方法逐條記錄進(jìn)行讀寫分離,盡可能減少時(shí)間延遲,同時(shí)分布式數(shù)據(jù)層能夠?qū)ν馄帘蜯ySQL數(shù)據(jù)庫集群的復(fù)雜性,但需要額外開發(fā)分布式數(shù)據(jù)層。

圖5 應(yīng)用程序完成數(shù)據(jù)復(fù)制

(5)數(shù)據(jù)加速技術(shù):近年來,硬盤磁道尋址的發(fā)展速度遠(yuǎn)落后于傳輸速率的發(fā)展速度,數(shù)據(jù)庫讀取I/O性能已成為瓶頸,如使用內(nèi)存提高性能,但價(jià)格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數(shù)據(jù)加速的重要工具。

(6)數(shù)據(jù)遷移技術(shù):全面去IOE階段,需要做到數(shù)據(jù)庫間切換的無縫對(duì)接,具體步驟(見圖6)為:

1)先把Oracle數(shù)據(jù)庫在某個(gè)時(shí)間點(diǎn),全量復(fù)制到MySQL集群中;

2)應(yīng)用程序發(fā)布同時(shí)寫兩個(gè)目標(biāo)庫的版本;

3)在發(fā)布雙寫版本后,把全量復(fù)制到雙寫版本之間的數(shù)據(jù)增量同步到MySQL集群;

4)選擇某一時(shí)間點(diǎn)對(duì)兩個(gè)庫進(jìn)行數(shù)據(jù)校驗(yàn);

5)應(yīng)用程序發(fā)布針對(duì)MySQL集群的讀寫版本,停止向Oracle數(shù)據(jù)庫讀寫;

6)在系統(tǒng)上線后的一段時(shí)間內(nèi),進(jìn)行MySQL集群向Oracle的逆向同步,目的是預(yù)防系統(tǒng)回滾。

(7)服務(wù)化技術(shù):系統(tǒng)按照組件進(jìn)行梳理提煉,吸收SOA理念,通過企業(yè)服務(wù)總線(ESB),以可管可控的標(biāo)準(zhǔn)服務(wù)形式向內(nèi)外部開放系統(tǒng)能力,是系統(tǒng)架構(gòu)轉(zhuǎn)型的基礎(chǔ),做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時(shí)也是去電信化發(fā)展思路的要求。

5 結(jié)束語

在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術(shù)架構(gòu)進(jìn)行轉(zhuǎn)型,涉及到思維觀念、人才隊(duì)伍、運(yùn)營流程及關(guān)鍵技術(shù)若干因素,是一項(xiàng)復(fù)雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實(shí)的技術(shù)積累和工程實(shí)施。

過去10年,電信已經(jīng)建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標(biāo),規(guī)范了功能架構(gòu)、數(shù)據(jù)模型、系統(tǒng)架構(gòu)、部署模式以及系統(tǒng)間集成關(guān)系,并由軟件提供商落地和實(shí)施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊(duì)伍,自主重點(diǎn)研發(fā)基礎(chǔ)設(shè)施層、數(shù)據(jù)層和服務(wù)層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場(chǎng)需求的響應(yīng)速度,并實(shí)現(xiàn)企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

參考文獻(xiàn):

[1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學(xué), 2013(2): 1-7.

[2] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

[3] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

[4] 子柳. 淘寶技術(shù)發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

[5] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

[6] 中國電信集團(tuán)公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

[7] 申德榮,于戈,王習(xí)特,等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學(xué)報(bào), 2013(8).endprint

2)通過應(yīng)用程序完成數(shù)據(jù)復(fù)制方案如圖5所示,步驟為:應(yīng)用程序?qū)憯?shù)據(jù)日志→應(yīng)用程序?qū)慜racle數(shù)據(jù)庫→異步通知分布式數(shù)據(jù)層→分布式數(shù)據(jù)層實(shí)時(shí)逐條讀取數(shù)據(jù)日志→分布式數(shù)據(jù)層寫MySQL數(shù)據(jù)庫集群。前三步作為一個(gè)事務(wù),確保讀寫操作的一致,寫MySQL數(shù)據(jù)庫進(jìn)行異步操作。這種方法逐條記錄進(jìn)行讀寫分離,盡可能減少時(shí)間延遲,同時(shí)分布式數(shù)據(jù)層能夠?qū)ν馄帘蜯ySQL數(shù)據(jù)庫集群的復(fù)雜性,但需要額外開發(fā)分布式數(shù)據(jù)層。

圖5 應(yīng)用程序完成數(shù)據(jù)復(fù)制

(5)數(shù)據(jù)加速技術(shù):近年來,硬盤磁道尋址的發(fā)展速度遠(yuǎn)落后于傳輸速率的發(fā)展速度,數(shù)據(jù)庫讀取I/O性能已成為瓶頸,如使用內(nèi)存提高性能,但價(jià)格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數(shù)據(jù)加速的重要工具。

(6)數(shù)據(jù)遷移技術(shù):全面去IOE階段,需要做到數(shù)據(jù)庫間切換的無縫對(duì)接,具體步驟(見圖6)為:

1)先把Oracle數(shù)據(jù)庫在某個(gè)時(shí)間點(diǎn),全量復(fù)制到MySQL集群中;

2)應(yīng)用程序發(fā)布同時(shí)寫兩個(gè)目標(biāo)庫的版本;

3)在發(fā)布雙寫版本后,把全量復(fù)制到雙寫版本之間的數(shù)據(jù)增量同步到MySQL集群;

4)選擇某一時(shí)間點(diǎn)對(duì)兩個(gè)庫進(jìn)行數(shù)據(jù)校驗(yàn);

5)應(yīng)用程序發(fā)布針對(duì)MySQL集群的讀寫版本,停止向Oracle數(shù)據(jù)庫讀寫;

6)在系統(tǒng)上線后的一段時(shí)間內(nèi),進(jìn)行MySQL集群向Oracle的逆向同步,目的是預(yù)防系統(tǒng)回滾。

(7)服務(wù)化技術(shù):系統(tǒng)按照組件進(jìn)行梳理提煉,吸收SOA理念,通過企業(yè)服務(wù)總線(ESB),以可管可控的標(biāo)準(zhǔn)服務(wù)形式向內(nèi)外部開放系統(tǒng)能力,是系統(tǒng)架構(gòu)轉(zhuǎn)型的基礎(chǔ),做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時(shí)也是去電信化發(fā)展思路的要求。

5 結(jié)束語

在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術(shù)架構(gòu)進(jìn)行轉(zhuǎn)型,涉及到思維觀念、人才隊(duì)伍、運(yùn)營流程及關(guān)鍵技術(shù)若干因素,是一項(xiàng)復(fù)雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實(shí)的技術(shù)積累和工程實(shí)施。

過去10年,電信已經(jīng)建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標(biāo),規(guī)范了功能架構(gòu)、數(shù)據(jù)模型、系統(tǒng)架構(gòu)、部署模式以及系統(tǒng)間集成關(guān)系,并由軟件提供商落地和實(shí)施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊(duì)伍,自主重點(diǎn)研發(fā)基礎(chǔ)設(shè)施層、數(shù)據(jù)層和服務(wù)層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場(chǎng)需求的響應(yīng)速度,并實(shí)現(xiàn)企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

參考文獻(xiàn):

[1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學(xué), 2013(2): 1-7.

[2] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

[3] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

[4] 子柳. 淘寶技術(shù)發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

[5] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

[6] 中國電信集團(tuán)公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

[7] 申德榮,于戈,王習(xí)特,等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學(xué)報(bào), 2013(8).endprint

2)通過應(yīng)用程序完成數(shù)據(jù)復(fù)制方案如圖5所示,步驟為:應(yīng)用程序?qū)憯?shù)據(jù)日志→應(yīng)用程序?qū)慜racle數(shù)據(jù)庫→異步通知分布式數(shù)據(jù)層→分布式數(shù)據(jù)層實(shí)時(shí)逐條讀取數(shù)據(jù)日志→分布式數(shù)據(jù)層寫MySQL數(shù)據(jù)庫集群。前三步作為一個(gè)事務(wù),確保讀寫操作的一致,寫MySQL數(shù)據(jù)庫進(jìn)行異步操作。這種方法逐條記錄進(jìn)行讀寫分離,盡可能減少時(shí)間延遲,同時(shí)分布式數(shù)據(jù)層能夠?qū)ν馄帘蜯ySQL數(shù)據(jù)庫集群的復(fù)雜性,但需要額外開發(fā)分布式數(shù)據(jù)層。

圖5 應(yīng)用程序完成數(shù)據(jù)復(fù)制

(5)數(shù)據(jù)加速技術(shù):近年來,硬盤磁道尋址的發(fā)展速度遠(yuǎn)落后于傳輸速率的發(fā)展速度,數(shù)據(jù)庫讀取I/O性能已成為瓶頸,如使用內(nèi)存提高性能,但價(jià)格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數(shù)據(jù)加速的重要工具。

(6)數(shù)據(jù)遷移技術(shù):全面去IOE階段,需要做到數(shù)據(jù)庫間切換的無縫對(duì)接,具體步驟(見圖6)為:

1)先把Oracle數(shù)據(jù)庫在某個(gè)時(shí)間點(diǎn),全量復(fù)制到MySQL集群中;

2)應(yīng)用程序發(fā)布同時(shí)寫兩個(gè)目標(biāo)庫的版本;

3)在發(fā)布雙寫版本后,把全量復(fù)制到雙寫版本之間的數(shù)據(jù)增量同步到MySQL集群;

4)選擇某一時(shí)間點(diǎn)對(duì)兩個(gè)庫進(jìn)行數(shù)據(jù)校驗(yàn);

5)應(yīng)用程序發(fā)布針對(duì)MySQL集群的讀寫版本,停止向Oracle數(shù)據(jù)庫讀寫;

6)在系統(tǒng)上線后的一段時(shí)間內(nèi),進(jìn)行MySQL集群向Oracle的逆向同步,目的是預(yù)防系統(tǒng)回滾。

(7)服務(wù)化技術(shù):系統(tǒng)按照組件進(jìn)行梳理提煉,吸收SOA理念,通過企業(yè)服務(wù)總線(ESB),以可管可控的標(biāo)準(zhǔn)服務(wù)形式向內(nèi)外部開放系統(tǒng)能力,是系統(tǒng)架構(gòu)轉(zhuǎn)型的基礎(chǔ),做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時(shí)也是去電信化發(fā)展思路的要求。

5 結(jié)束語

在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術(shù)架構(gòu)進(jìn)行轉(zhuǎn)型,涉及到思維觀念、人才隊(duì)伍、運(yùn)營流程及關(guān)鍵技術(shù)若干因素,是一項(xiàng)復(fù)雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實(shí)的技術(shù)積累和工程實(shí)施。

過去10年,電信已經(jīng)建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標(biāo),規(guī)范了功能架構(gòu)、數(shù)據(jù)模型、系統(tǒng)架構(gòu)、部署模式以及系統(tǒng)間集成關(guān)系,并由軟件提供商落地和實(shí)施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊(duì)伍,自主重點(diǎn)研發(fā)基礎(chǔ)設(shè)施層、數(shù)據(jù)層和服務(wù)層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場(chǎng)需求的響應(yīng)速度,并實(shí)現(xiàn)企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

參考文獻(xiàn):

[1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學(xué), 2013(2): 1-7.

[2] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

[3] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

[4] 子柳. 淘寶技術(shù)發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

[5] 中國電信集團(tuán)公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

[6] 中國電信集團(tuán)公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

[7] 申德榮,于戈,王習(xí)特,等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學(xué)報(bào), 2013(8).endprint

猜你喜歡
應(yīng)用程序集群分布式
海上小型無人機(jī)集群的反制裝備需求與應(yīng)對(duì)之策研究
刪除Win10中自帶的應(yīng)用程序
谷歌禁止加密貨幣應(yīng)用程序
一種無人機(jī)集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計(jì)
Python與Spark集群在收費(fèi)數(shù)據(jù)分析中的應(yīng)用
基于DDS的分布式三維協(xié)同仿真研究
西門子 分布式I/O Simatic ET 200AL
三星電子將開設(shè)應(yīng)用程序下載商店
微軟軟件商店開始接受應(yīng)用程序
松滋市| 白城市| 修文县| 江城| 柘城县| 迁西县| 永修县| 仁布县| 吴忠市| 故城县| 长宁区| 隆安县| 永修县| 仪征市| 台南市| 大竹县| 微山县| 鄂伦春自治旗| 广德县| 白城市| 吉木乃县| 化隆| 柘城县| 万荣县| 连山| 望奎县| 隆子县| 闸北区| 施甸县| 肇东市| 叙永县| 阿合奇县| 仪征市| 湘乡市| 河池市| 肇庆市| 商水县| 耒阳市| 龙江县| 彰武县| 南木林县|