在做政務(wù)大數(shù)據(jù)的過程當中,翱旗現(xiàn)在正在經(jīng)歷一些問題,未來也有可能會遇到很多問題,接下來我將分享翱旗是如何去解決這些問題的。沿用我們之前做的楚天云的案例,來給大家做整體分享。
楚天云及其基礎(chǔ)數(shù)據(jù)庫共享工程,是智慧湖北“63010”行動方案的龍頭與核心。楚天云的意義在于推動湖北省大數(shù)據(jù)資源的匯聚存儲、開發(fā)利用、開放共享。伴隨相關(guān)產(chǎn)業(yè)發(fā)展,它將成為全國第一個集電子政務(wù)、數(shù)據(jù)產(chǎn)業(yè)于一體的數(shù)據(jù)共享平臺,全國第一個貫穿國家、省、市、縣四級的統(tǒng)一信息基礎(chǔ)設(shè)施服務(wù)平臺和信息共享交換樞紐平臺,全國大數(shù)據(jù)行業(yè)中第一個完全市場化的大型PPP工程。
這是楚天云建設(shè)的總體架構(gòu),我們做政務(wù)大數(shù)據(jù)的過程當中,也是沿用了這樣的架構(gòu),底層是各政府部門的數(shù)據(jù)。數(shù)據(jù)云有區(qū)域內(nèi)的企業(yè)數(shù)據(jù),再形成各種主題的數(shù)據(jù)庫,由數(shù)據(jù)交換共享的平臺將數(shù)據(jù)提供給上層的智慧應(yīng)用;同時數(shù)據(jù)云還會把相應(yīng)的數(shù)據(jù)對外共享給政府部門,以及區(qū)域內(nèi)的企業(yè)單位。這主要涉及兩個方面:一是內(nèi)部的共享交換,另一個是外部增值的部分,是比較完善的數(shù)據(jù)云的建設(shè)架構(gòu)。
那么我們在數(shù)據(jù)云建設(shè)的過程當中,或者說在建設(shè)政務(wù)大數(shù)據(jù)平臺的過程中,還存在著哪些問題?
第一,我們的客戶重視應(yīng)用,但各自為政,缺乏統(tǒng)一的規(guī)劃,因而各個應(yīng)用都是單獨建立的,不僅僅是各個單位沒有統(tǒng)一的標準,各個單位的各個應(yīng)用業(yè)務(wù)系統(tǒng)也沒有統(tǒng)一的標準和規(guī)劃。
第二,我們在做項目的過程中發(fā)現(xiàn),70%~80%的數(shù)據(jù)是在應(yīng)用廠商手中,我們的客戶根本不知道業(yè)務(wù)系統(tǒng)中到底有什么樣的數(shù)據(jù),需要應(yīng)用廠商來提供接口,給我們對外去提供各種各樣的數(shù)據(jù)進行共享。這會存在很大的隱患,比如周期非常長,我們的智慧應(yīng)用、大數(shù)據(jù)平臺就得不到高時效性、高準確性的數(shù)據(jù)。這是接口方式存在的最大問題,也是我們采用SOA(面向服務(wù)的構(gòu)架)時存在的最大問題,現(xiàn)在大家已經(jīng)開始意識到這個問題。
第三,沒有一個統(tǒng)一的數(shù)據(jù)標準,數(shù)據(jù)的形態(tài)各異,數(shù)據(jù)的結(jié)構(gòu)也各種各樣,我們需要有一個通用化的產(chǎn)品或自適配的方式去解決這個問題。
第四,海量數(shù)據(jù)以及實時數(shù)據(jù)并存的情況。大數(shù)據(jù)存在好幾個V,實時的應(yīng)用場景需要一些實時的數(shù)據(jù)。以往實時數(shù)據(jù)的量不大,但當我們涉及建設(shè)政務(wù)大數(shù)據(jù)平臺時,會涉及公安的數(shù)據(jù)、人社的數(shù)據(jù)、運營商的數(shù)據(jù)。公安的數(shù)據(jù),每天的變化量可能都是TB級別的,如果想要支撐這些實時的業(yè)務(wù),這個平臺就要能夠支撐這樣的海量數(shù)據(jù),而且進行實時傳輸。
這是我們在做傳統(tǒng)的數(shù)據(jù)云平臺或政務(wù)大數(shù)據(jù)過程中存在的一些問題。那么解決的方案是什么呢?一是統(tǒng)一規(guī)劃、統(tǒng)一平臺。我們很多的政務(wù)大平臺已經(jīng)開始在做這件事情了。二是自動化的平臺交換共享。這是很多的政務(wù)大數(shù)據(jù)平臺沒有完成的,全部都靠人用各種各樣的技術(shù)方式實現(xiàn)。我們會發(fā)現(xiàn),很多的智慧城市建設(shè)一期完成之后,接下來第二期、第三期非常難做,最大的問題就在于缺乏大量自動化的手段來完成二期、三期項目的建設(shè)。每一個大數(shù)據(jù)應(yīng)用至少要花費3~4個月左右的時間,在二期、三期可能會涉及30~40個的應(yīng)用,如果沒有自動化的平臺、通用化的產(chǎn)品,只靠人堆的方式,我相信這個政務(wù)大數(shù)據(jù)平臺最終將難以達到當初規(guī)劃的效果,這也是為什么很多人沒有享受到大數(shù)據(jù)的好處。三是制作統(tǒng)一的標準。這是數(shù)據(jù)管理方面的內(nèi)容,包括采用數(shù)據(jù)處理的專有技術(shù)自動識別數(shù)據(jù)源的所有變化,并自動地反應(yīng)、交互,這是現(xiàn)在很多的傳統(tǒng)技術(shù)還無法解決的問題。
我們采用數(shù)據(jù)融合平臺產(chǎn)品來解決這些問題。底層比較簡單,主要是數(shù)據(jù)的接入、融合、服務(wù)等幾個方面,底層各種各樣的數(shù)據(jù)源都可以采用連接器的框架接入,接入的過程是實時的,最高達到每小時200G的數(shù)據(jù)傳輸量,這個相當于海量數(shù)據(jù)來說是非常實用的。另外它可以適配任意數(shù)據(jù)源的任意變化,是自動適配的自動化平臺。在此之上是我們的數(shù)據(jù)融合引擎,可以對數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期進行統(tǒng)一的管理和融合。上面是數(shù)據(jù)服務(wù)的框架,這在電子政務(wù)里體現(xiàn)得比較多,包括做一些交換的服務(wù),以及對外的一些智慧應(yīng)用的數(shù)據(jù)服務(wù)。另外,我們有自己的安全框架,這個框架主要是針對用戶,是由安全模塊去完成的,包括一些角色的安全以及數(shù)據(jù)傳輸過程中的安全。
我們現(xiàn)在的數(shù)據(jù)云平臺是搭建在云平臺當中,我們有自己的云框架,一些管理、自建的門戶都在這個平臺上實現(xiàn)。在實現(xiàn)的過程當中,我們的一些比較優(yōu)秀的技術(shù),包括持續(xù)技術(shù)、復(fù)制技術(shù)、流計算技術(shù)、數(shù)據(jù)質(zhì)量技術(shù)、云方面技術(shù),都在融合架構(gòu)中體現(xiàn)。整個架構(gòu)的優(yōu)勢包括采用數(shù)據(jù)集成的方式完成,數(shù)據(jù)處理高效、靈活,一次性開發(fā)建設(shè),后期管理維護較簡單。我們在建設(shè)的過程當中也感覺到,客戶越來越了解大數(shù)據(jù)到底是什么,它到底能帶來什么樣的好處。