李光亞,張敬誼,童慶
大數(shù)據(jù)在智慧城市中的應(yīng)用
李光亞,張敬誼,童慶
伴隨智慧城市的發(fā)展,多源、異構(gòu)、冗余的大數(shù)據(jù)應(yīng)運(yùn)而生。利用數(shù)據(jù)挖掘、決策分析等技術(shù),實(shí)現(xiàn)大數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)資產(chǎn),必將成為大數(shù)據(jù)時(shí)代智慧城市智能化、互聯(lián)化的必要手段。闡述了智慧城市概念、智慧城市數(shù)據(jù)資源及大數(shù)據(jù)處理技術(shù),分析了智慧城市中的大數(shù)據(jù)綜合應(yīng)用,闡明了大數(shù)據(jù)在智慧城市重點(diǎn)行業(yè)領(lǐng)域的應(yīng)用現(xiàn)狀,并對(duì)其進(jìn)行展望,為未來(lái)智慧城市中大數(shù)據(jù)的深入應(yīng)用提供解決方案和思路。
智慧城市;大數(shù)據(jù)
當(dāng)前,城市發(fā)展面臨諸如人口膨脹、環(huán)境惡化、公共衛(wèi)生事件頻發(fā)、交通擁堵、資源浪費(fèi)等的挑戰(zhàn),人們的生活也因此受到不利的影響。而且,隨著城市化文明進(jìn)程的推進(jìn),人們?nèi)找媾蛎浀男枨笈c城市日益有限的供給之間的矛盾會(huì)繼續(xù)增大,未來(lái)人們的生活質(zhì)量和城市的發(fā)展不容樂(lè)觀?;诤椭C發(fā)展的智慧地球、智慧城市是未來(lái)的發(fā)展趨勢(shì)。
智慧城市是指在物聯(lián)網(wǎng)和互聯(lián)網(wǎng)結(jié)合的基礎(chǔ)上,通過(guò)各種智能化的應(yīng)用,提升城市基礎(chǔ)設(shè)施的運(yùn)作效率,提升城市運(yùn)行管理和公共服務(wù)水平,讓人們的生活更美好。截止2013年,我國(guó)已經(jīng)有311個(gè)城市提出或正在建設(shè)智慧城市。
大數(shù)據(jù)是支撐智慧城市發(fā)展的重要信息資源,城市運(yùn)行體征是通過(guò)數(shù)據(jù)進(jìn)行量化表現(xiàn)出來(lái)的,通過(guò)大數(shù)據(jù)技術(shù)收集各部門(mén)有關(guān)城市運(yùn)行體征的數(shù)據(jù),可幫助城市管理者進(jìn)行數(shù)據(jù)匯總、分析,最終對(duì)城市體征的量化形態(tài)即各類數(shù)據(jù)進(jìn)行管理。大數(shù)據(jù)與智慧城市的關(guān)系可表述為:大數(shù)據(jù)的發(fā)展源于物聯(lián)網(wǎng)技術(shù)的應(yīng)用,并用于支撐智慧城市的發(fā)展;智慧城市的衡量指標(biāo)由大數(shù)據(jù)來(lái)體現(xiàn),大數(shù)據(jù)促進(jìn)智慧城市的發(fā)展;物聯(lián)網(wǎng)是大數(shù)據(jù)產(chǎn)生的催化劑,大數(shù)據(jù)源于物聯(lián)網(wǎng)應(yīng)用[1]。
本文通過(guò)分析智慧城市的數(shù)據(jù)資源組成,綜述數(shù)據(jù)資源管理技術(shù),并在此基礎(chǔ)上闡述智慧城市中的大數(shù)據(jù)綜合應(yīng)用以及在重點(diǎn)領(lǐng)域的行業(yè)應(yīng)用,為后續(xù)智慧建設(shè)城市中大數(shù)據(jù)應(yīng)用及創(chuàng)新提供參考。
智慧城市是創(chuàng)新與新信息技術(shù)發(fā)展、成長(zhǎng)于社會(huì)創(chuàng)新環(huán)境下的新興城市形態(tài),是傳統(tǒng)城市文明與新知識(shí)、新技術(shù)的創(chuàng)新融合的產(chǎn)物。智慧城市將極大改變城市的管理方式和生活方式,并有效保障城市的可持續(xù)發(fā)展。建設(shè)和發(fā)展智慧城市,是經(jīng)濟(jì)增長(zhǎng)的新動(dòng)力和經(jīng)濟(jì)發(fā)展方式轉(zhuǎn)變的重要契機(jī),也是提高城鎮(zhèn)化質(zhì)量,緩解的“大城市病”的重要方式。
智慧城市具有以下特征:
(1)感知與互聯(lián)。通過(guò)智能傳感器,對(duì)城市的物理空間進(jìn)行全面感知,對(duì)城市核心的運(yùn)行系統(tǒng)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。通過(guò)互聯(lián)網(wǎng)將智能傳感器網(wǎng)絡(luò)連接起來(lái),實(shí)現(xiàn)對(duì)數(shù)據(jù)的智能存儲(chǔ)、管理、使用。
(2)重視基礎(chǔ)建設(shè)。通過(guò)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、衛(wèi)星傳感器網(wǎng)的融合,以及多源異構(gòu)數(shù)據(jù)的整合,為智慧城市的建設(shè)提供信息基礎(chǔ)設(shè)施,從源頭上保障智慧城市的良性發(fā)展。
(3)協(xié)同與智能。在建設(shè)智慧城市基礎(chǔ)設(shè)施的基礎(chǔ)上,協(xié)調(diào)智慧城市各要素、單元、系統(tǒng)的高效運(yùn)行;通過(guò)構(gòu)建新的服務(wù)模式與服務(wù)體系,對(duì)各類數(shù)據(jù)進(jìn)行處理、挖掘,提供各種不同層次的智能化服務(wù)。
(4)鼓勵(lì)創(chuàng)新。在城市智慧信息基礎(chǔ)設(shè)施上,鼓勵(lì)各級(jí)各類主體進(jìn)行各種形式的創(chuàng)新應(yīng)用,不斷為城市經(jīng)濟(jì)、文化的可持續(xù)發(fā)展提供動(dòng)力。
智慧城市的數(shù)據(jù)來(lái)源廣泛、結(jié)構(gòu)多樣,涵蓋智能交通、智能醫(yī)療、智能樓宇、智能電網(wǎng)、智能農(nóng)業(yè)、智能安防、智能環(huán)保、智慧旅游、智慧教育、智能水務(wù)等大數(shù)據(jù)資源,涉及眾多方方面面智慧城市應(yīng)用范疇[2]。其多是互聯(lián)網(wǎng)、傳感設(shè)備、視頻監(jiān)控、移動(dòng)設(shè)備、智能設(shè)備、非傳統(tǒng)IT設(shè)備等渠道產(chǎn)生的海量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù),并且時(shí)時(shí)刻刻都在源源不斷地滲入城市日常管理和運(yùn)作的方方面面[3]。
智慧城市的數(shù)據(jù)資源體量巨大,但有價(jià)值的信息密度低,需要進(jìn)行深度整合和分析,將不同來(lái)源、不同格式、不同類型、不同應(yīng)用的數(shù)據(jù)進(jìn)行規(guī)范、融合,形成“智慧城市”的數(shù)據(jù)資源體系,打破各系統(tǒng)間數(shù)據(jù)不能共享的現(xiàn)狀,實(shí)現(xiàn)空間信息和非空間信息的統(tǒng)籌管理、統(tǒng)一服務(wù)、共享共用[4]。
從智慧城市的業(yè)務(wù)需求角度來(lái)說(shuō),一方面,智慧城市管理需要深度整合、分析數(shù)據(jù);另一方面,大數(shù)據(jù)環(huán)境下的智慧城市運(yùn)行體征管理,需要對(duì)城市運(yùn)行狀況進(jìn)行信息的收集和整合。因此,需要從整合現(xiàn)有信息資源并為未來(lái)的信息化建設(shè)提供統(tǒng)一支撐的角度,打破各個(gè)系統(tǒng)間數(shù)據(jù)不能共享的現(xiàn)狀,實(shí)現(xiàn)空間信息和非空間信息的統(tǒng)籌管理、統(tǒng)一服務(wù)、共享共用。
從業(yè)務(wù)內(nèi)容角度來(lái)看,智慧城市需要有建立在標(biāo)準(zhǔn)規(guī)范之上的信息資源體系,它是一個(gè)分層的樹(shù)狀結(jié)構(gòu),包括元數(shù)據(jù)資源、數(shù)據(jù)資源、服務(wù)資源三大類,如圖1所示:
圖1 智慧城市信息資源體系層次結(jié)構(gòu)
從技術(shù)實(shí)現(xiàn)的角度上來(lái)看,對(duì)智慧城市數(shù)據(jù)資源的管理,可采用數(shù)據(jù)生命周期管理、大數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)處理、智慧城市大數(shù)據(jù)決策分析等技術(shù)。
(1)數(shù)據(jù)生命周期管理。主要對(duì)智慧城市業(yè)務(wù)數(shù)據(jù)的產(chǎn)生、規(guī)范、使用和存檔的各個(gè)階段進(jìn)行有效地監(jiān)控和管理,以保證數(shù)據(jù)的共享性、完整性、可靠性和有效性等,并以此為基礎(chǔ)提供給上層決策分析系統(tǒng)。
A.數(shù)據(jù)共享性。采用主數(shù)據(jù)管理技術(shù),消除“信息孤島”,加強(qiáng)各系統(tǒng)間關(guān)聯(lián)性,建立規(guī)范、統(tǒng)一的數(shù)據(jù)源,實(shí)現(xiàn)數(shù)據(jù)共享。
B.數(shù)據(jù)完整性。采用元數(shù)據(jù)管理技術(shù),從數(shù)據(jù)格式、源頭、服務(wù)等方面建立信息資源規(guī)范,以確保數(shù)據(jù)的完整性。
C.數(shù)據(jù)可靠性。采用數(shù)據(jù)清洗技術(shù),可以有效的清除臟數(shù)據(jù)、保證數(shù)據(jù)的質(zhì)量。
D.數(shù)據(jù)有效性。對(duì)數(shù)據(jù)歸類和特征分析,利用在線存儲(chǔ)、近線存儲(chǔ)、歸檔存儲(chǔ)等技術(shù)進(jìn)行選擇存儲(chǔ),保證數(shù)據(jù)的有效性[5]。
(2)大數(shù)據(jù)采集。主要通過(guò)網(wǎng)絡(luò)數(shù)據(jù)獲取,媒體流獲取,日志信息獲取和傳統(tǒng)應(yīng)用數(shù)據(jù)獲取等技術(shù)在智慧城市場(chǎng)景中獲取大數(shù)據(jù)。
A.網(wǎng)絡(luò)數(shù)據(jù)獲取。主要利用互聯(lián)網(wǎng)搜索引擎技術(shù)如網(wǎng)絡(luò)爬蟲(chóng)等實(shí)現(xiàn)有針對(duì)性、行業(yè)性、精準(zhǔn)性的數(shù)據(jù)抓取,按照一定規(guī)則和篩選標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)歸類,形成數(shù)據(jù)庫(kù)文件。
B.媒體流數(shù)據(jù)獲取。媒體流接入服務(wù)采用集群的方式,為每個(gè)接入源動(dòng)態(tài)確定一個(gè)存儲(chǔ)服務(wù)器,實(shí)現(xiàn)視頻、音頻數(shù)據(jù)以分布式文件方式落地。
C.日志信息獲取。常通過(guò)成熟分布式框架如 Chukwa、Flume、Scrib等,實(shí)現(xiàn)日志信息的分布式收集和統(tǒng)一處理。
D.傳統(tǒng)應(yīng)用數(shù)據(jù)獲取。主要采用ETL將分布的、異構(gòu)的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最終按照定義好的數(shù)據(jù)模型,將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫(kù)中。
(3)大數(shù)據(jù)存儲(chǔ)。主要利用CAP原則,通過(guò)對(duì)大數(shù)據(jù)特征分析,選擇合適的存儲(chǔ)方案。
A.數(shù)據(jù)存儲(chǔ)硬件:本地存儲(chǔ)、SAN存儲(chǔ)和云存儲(chǔ)。
B.數(shù)據(jù)存儲(chǔ)技術(shù)[6]:關(guān)系型數(shù)據(jù)庫(kù)、No-SQL數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)、分布式文件存儲(chǔ)、列式數(shù)據(jù)庫(kù)等。
(4)大數(shù)據(jù)處理。主要是采用基于大數(shù)據(jù)方案的計(jì)算技術(shù)、數(shù)據(jù)挖掘技術(shù)和大數(shù)據(jù)可視化技術(shù)實(shí)現(xiàn)數(shù)據(jù)處理。
A.計(jì)算技術(shù)[7]:輕量級(jí)彈性計(jì)算平臺(tái)、Map-Reduce離線計(jì)算框架、Spark內(nèi)存計(jì)算框架、Storm流式計(jì)算框架等。
B.數(shù)據(jù)挖掘技術(shù):大數(shù)據(jù)下的頻繁模式挖掘技術(shù)、大數(shù)據(jù)下的聚類分析方法、大數(shù)據(jù)下的分類和預(yù)測(cè)算法、大數(shù)據(jù)下的序列挖掘算法。
C.大數(shù)據(jù)可視化技術(shù):借助于圖形化手段,清晰有效地傳達(dá)與溝通信息。大規(guī)模數(shù)據(jù)的可視化和繪制主要是基于并行算法設(shè)計(jì)的技術(shù),合理利用有限的計(jì)算資源,高效地處理和分析特定的數(shù)據(jù)集的特性,主要技術(shù):數(shù)據(jù)流線化、任務(wù)并行化、管道并行化、數(shù)據(jù)并行化。
(5)智慧城市大數(shù)據(jù)決策分析。主要利用當(dāng)前成熟的模型技術(shù),對(duì)海量冗余的數(shù)據(jù)源進(jìn)行抽取轉(zhuǎn)換等操作,以形成高質(zhì)的智慧城市數(shù)據(jù)資產(chǎn),為城市的發(fā)展決策提供明確的數(shù)據(jù)支撐。常見(jiàn)的大數(shù)據(jù)決策分析技術(shù)如下:
A.融合多領(lǐng)域信息的數(shù)據(jù)知識(shí)模型。首先,在標(biāo)準(zhǔn)統(tǒng)一的領(lǐng)域數(shù)據(jù)知識(shí)模型的基礎(chǔ)上,建立面向不同主題的多領(lǐng)域數(shù)據(jù)知識(shí)模型。然后,在建立面向領(lǐng)域的和面向主題的數(shù)據(jù)知識(shí)模型的基礎(chǔ)上,形成多領(lǐng)域多層次數(shù)據(jù)知識(shí)模型結(jié)構(gòu)。
B.面向智慧城市決策支持的分布式海量數(shù)據(jù)的管理技術(shù)。通過(guò)對(duì)智慧城市大數(shù)據(jù)的進(jìn)行決策分析,實(shí)現(xiàn)海量數(shù)據(jù)管理和決策分析的雙向耦合,為決策支持提供數(shù)據(jù)管理層面的有效支撐。涉及技術(shù)有:分布式大數(shù)據(jù)的平臺(tái)、基于云計(jì)算的海量異構(gòu)數(shù)據(jù)的存儲(chǔ)管理技術(shù)、分布式?jīng)Q策模型、流數(shù)據(jù)挖掘技術(shù)。
C.輔助決策模型的智能組合技術(shù)。建立針對(duì)模型的規(guī)范化描述,使模型分析的結(jié)果也可以滿足數(shù)據(jù)知識(shí)模型體系的數(shù)據(jù)標(biāo)準(zhǔn),從而能夠?yàn)槠渌鼪Q策分析模型所利用,在此基礎(chǔ)上能夠建立模型鏈的實(shí)例化應(yīng)用,擴(kuò)展輔助決策支持的范圍,真正發(fā)揮多層級(jí)輔助決策支持的能力。包括:決策模型標(biāo)準(zhǔn)化、模型鏈建立與實(shí)例化、模型鏈評(píng)估與優(yōu)化。
D.高性能多用戶協(xié)同的輔助決策技術(shù)。通過(guò)可視化技術(shù),以更直觀、有效的方式將數(shù)據(jù)分析結(jié)果展示給用戶。主要技術(shù)有:決策模型的可視化展現(xiàn)技術(shù)、可視化動(dòng)態(tài)分析模型、可視化智能決策方案。
智慧城市助推大數(shù)據(jù)的產(chǎn)生,也給大數(shù)據(jù)提供了廣闊的應(yīng)用市場(chǎng)。智慧城市數(shù)據(jù)資源多源、異構(gòu)、冗余,需要從數(shù)據(jù)采集、整合、分析的整個(gè)流程,進(jìn)行綜合數(shù)據(jù)管理,將其轉(zhuǎn)變?yōu)槌鞘械挠行?、高質(zhì)的數(shù)據(jù)資產(chǎn),發(fā)揮大數(shù)據(jù)在城市建設(shè)發(fā)展中的最大效用,如圖2所示:
圖2 大數(shù)據(jù)綜合應(yīng)用
(1)大數(shù)據(jù)采集
網(wǎng)絡(luò)大數(shù)據(jù)和政府部門(mén)數(shù)據(jù)資源是智慧城市大數(shù)據(jù)資源的主體,對(duì)推動(dòng)城市智能化、創(chuàng)新化、互聯(lián)化起著舉足輕重的作用。
網(wǎng)絡(luò)大數(shù)據(jù)采集包含對(duì)互聯(lián)網(wǎng)數(shù)據(jù)采集、物聯(lián)網(wǎng)數(shù)據(jù)采集和個(gè)人數(shù)據(jù)采集?;ヂ?lián)網(wǎng)數(shù)據(jù)的采集涉及頁(yè)面和后臺(tái)數(shù)據(jù)兩個(gè)層面,頁(yè)面數(shù)據(jù)可以通過(guò)爬蟲(chóng)程序直接抓取所需的數(shù)據(jù),而網(wǎng)站后臺(tái)數(shù)據(jù)層次較深、相對(duì)較復(fù)雜,常通過(guò)開(kāi)放或授權(quán)數(shù)據(jù)接口讓各方方便獲取數(shù)據(jù)、開(kāi)發(fā)應(yīng)用;同時(shí)對(duì)互聯(lián)網(wǎng)海量的網(wǎng)頁(yè),可以建立大數(shù)據(jù)抓取集群,實(shí)現(xiàn)統(tǒng)一的互聯(lián)網(wǎng)數(shù)據(jù)抓取,保證抓取的實(shí)時(shí)性。物聯(lián)網(wǎng)數(shù)據(jù)采集,主要是建設(shè)城市統(tǒng)一的數(shù)據(jù)監(jiān)測(cè)采集系統(tǒng),實(shí)現(xiàn)行業(yè)數(shù)據(jù)如車(chē)聯(lián)網(wǎng)大數(shù)據(jù)、環(huán)境物聯(lián)網(wǎng)大數(shù)據(jù)等的統(tǒng)一采集、統(tǒng)一管理,各行業(yè)按需調(diào)用相應(yīng)的數(shù)據(jù)服務(wù)即可。個(gè)人數(shù)據(jù)采集,主要是對(duì)個(gè)人日?;顒?dòng)數(shù)據(jù)、與政府企業(yè)資源設(shè)施互動(dòng)數(shù)據(jù)等采集,有助于創(chuàng)新社會(huì)管理、提升公共服務(wù)、建立個(gè)性化服務(wù)。
政府部門(mén)數(shù)據(jù)資源,共享度低,數(shù)據(jù)采集重復(fù)性高,且易形成“信息孤島”。進(jìn)行跨部門(mén)大數(shù)據(jù)管理,以城市一體化為目標(biāo),建設(shè)城市運(yùn)營(yíng)數(shù)據(jù)的統(tǒng)一采集,建立起跨部門(mén)的數(shù)據(jù)共享體系,為各領(lǐng)域的智慧應(yīng)用提供大數(shù)據(jù)統(tǒng)一服務(wù)。
(2)大數(shù)據(jù)開(kāi)放服務(wù)
大數(shù)據(jù)要發(fā)揮巨大價(jià)值,開(kāi)放是關(guān)鍵。智慧城市建立統(tǒng)一的大數(shù)據(jù)開(kāi)放服務(wù),有助于打破信息孤島,并實(shí)現(xiàn)數(shù)據(jù)授權(quán),有助于發(fā)展數(shù)據(jù)產(chǎn)業(yè)。智慧城市大數(shù)據(jù)開(kāi)放服務(wù)的基本思路為:政府?dāng)?shù)據(jù)開(kāi)放、機(jī)器可讀;應(yīng)用云計(jì)算等新模式;鼓勵(lì)社會(huì)化的數(shù)據(jù)再開(kāi)發(fā);城市一體化而不是部門(mén)孤島。大數(shù)據(jù)開(kāi)放服務(wù),將連接居民、政府、社會(huì)開(kāi)放設(shè)備和平臺(tái),形成一個(gè)大數(shù)據(jù)服務(wù)生態(tài)環(huán)境,將使居民更方便的獲取信息、政府實(shí)現(xiàn)跨部門(mén)數(shù)據(jù)共享、數(shù)據(jù)再開(kāi)發(fā)利用使數(shù)據(jù)增值、數(shù)據(jù)利用更加安全、城市數(shù)據(jù)服務(wù)一體化等
(3)大數(shù)據(jù)決策分析
大數(shù)據(jù)能提升智慧城市決策支持的能力,形成更智能的趨勢(shì)分析。建立大數(shù)據(jù)技術(shù)與業(yè)務(wù)深度融合的模式,簡(jiǎn)化各領(lǐng)域應(yīng)用大數(shù)據(jù)進(jìn)行分析決策的難度,實(shí)現(xiàn)對(duì)決策支持的服務(wù)。
大數(shù)據(jù)的分析服務(wù),提供大數(shù)據(jù)分析的工具引擎,包括多源數(shù)據(jù)關(guān)聯(lián)分析、數(shù)據(jù)建模、數(shù)據(jù)仿真、數(shù)據(jù)報(bào)告等共性功能。深入的分析和挖掘,大數(shù)據(jù)可以為智慧城市的很多領(lǐng)域服務(wù),包括交通運(yùn)行、醫(yī)療衛(wèi)生、社會(huì)管理、農(nóng)業(yè)、商業(yè)、金融以及宏觀經(jīng)濟(jì)等。如對(duì)醫(yī)療大數(shù)據(jù)進(jìn)行分析,可以幫助政府更科學(xué)地進(jìn)行醫(yī)保預(yù)算,實(shí)現(xiàn)醫(yī)保控費(fèi),提升醫(yī)療機(jī)構(gòu)的疾病診斷能力,提升市民的健康水平;對(duì)應(yīng)用電子商務(wù)大數(shù)據(jù)進(jìn)行分析,可以一定程度上預(yù)測(cè)經(jīng)濟(jì)狀況,按需生產(chǎn);對(duì)公共大數(shù)據(jù)的分析,可發(fā)揮數(shù)據(jù)的協(xié)同作用。
總之,在智慧城市中綜合應(yīng)用大數(shù)據(jù),可以形成趨勢(shì)判斷、數(shù)據(jù)共享,將有助于智慧城市的創(chuàng)新社會(huì)管理、各行業(yè)的互聯(lián)互通、良性競(jìng)爭(zhēng)與可持續(xù)發(fā)展。
充分利用智慧城市大數(shù)據(jù)潛能,以滿足城市各行業(yè)發(fā)展需求。智慧城市中大數(shù)據(jù)行業(yè)應(yīng)用重點(diǎn)領(lǐng)域有民生、市場(chǎng)監(jiān)管、政府服務(wù)、基礎(chǔ)設(shè)施等,涵蓋了醫(yī)藥衛(wèi)生、環(huán)境保護(hù)、智慧教育、交通物流、市民服務(wù)、市場(chǎng)監(jiān)管、公共安全、國(guó)土資源、科技服務(wù)、文化創(chuàng)意、電子政務(wù)等方方面面。
(1)民生領(lǐng)域
智慧城市中采集的人口數(shù)據(jù)、環(huán)境數(shù)據(jù)、交通數(shù)據(jù)、健康數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù)等是民生大數(shù)據(jù)的重要組成部分。同時(shí),互聯(lián)網(wǎng)上用戶相關(guān)的民生大數(shù)據(jù)的采集是在用戶參與下,由運(yùn)營(yíng)商、服務(wù)方分別采集完成的。通過(guò)民生大數(shù)據(jù)的開(kāi)放和共享,構(gòu)建民生大數(shù)據(jù)集市,需求方可按需獲取數(shù)據(jù)。
民生大數(shù)據(jù)將在民生領(lǐng)域的輿情、預(yù)測(cè)、決策、調(diào)控等方面發(fā)揮巨大的作用。大數(shù)據(jù)技術(shù)對(duì)于把握民生民情民意具有重要意義,可以提煉廣大市民的需求,使民生服務(wù)領(lǐng)先一步,比市民本人知道得更多、了解得更細(xì)、發(fā)現(xiàn)得更早,可以分析社會(huì)現(xiàn)象本質(zhì),揭露潛在的民生問(wèn)題,還可預(yù)測(cè)趨勢(shì),指導(dǎo)民生決策,使立法、監(jiān)管先行,防患于未然。
(2)市場(chǎng)監(jiān)管領(lǐng)域
市場(chǎng)實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、其他數(shù)據(jù)源等共同構(gòu)成市場(chǎng)監(jiān)管領(lǐng)域大數(shù)據(jù)集[8]。
通過(guò)大數(shù)據(jù)智能分析算法和數(shù)據(jù)挖掘技術(shù),實(shí)時(shí)分析市場(chǎng)數(shù)據(jù),以對(duì)市場(chǎng)變化及時(shí)做出反應(yīng)。分析歷史數(shù)據(jù),提取出被監(jiān)管對(duì)象的行為模式、消費(fèi)者的行為模式以及他們行為模式的趨勢(shì),并結(jié)合實(shí)時(shí)數(shù)據(jù)分析,可對(duì)非正常的活動(dòng)提出預(yù)警。將新的數(shù)據(jù)源整合至監(jiān)管領(lǐng)域大數(shù)據(jù)集,可提高對(duì)非正常事件進(jìn)行預(yù)警的準(zhǔn)確度。對(duì)不同行業(yè)大數(shù)據(jù)分析,可支持多行業(yè)的監(jiān)管。
(3)政府服務(wù)領(lǐng)域
運(yùn)用大數(shù)據(jù),通過(guò)多渠道數(shù)據(jù)采集、快速綜合的數(shù)據(jù)處理技術(shù),增強(qiáng)社會(huì)管理能力,實(shí)現(xiàn)政府公共服務(wù)的管理創(chuàng)新、技術(shù)創(chuàng)新和服務(wù)模式的創(chuàng)新。
首先,大數(shù)據(jù)在政府服務(wù)領(lǐng)域的應(yīng)用。一方面,通過(guò)大數(shù)據(jù)共享性應(yīng)用,實(shí)現(xiàn)政府各部門(mén)之間、政府與市民之間的信息共享,提高政府各機(jī)構(gòu)協(xié)同辦公效率和為民辦事效率[9]。另一方面,大數(shù)據(jù)價(jià)值應(yīng)用,通過(guò)大數(shù)據(jù)決策分析,展示給人們關(guān)注信息之間的關(guān)聯(lián)度,實(shí)現(xiàn)信息價(jià)值的放大。
其次,應(yīng)用大數(shù)據(jù)和云計(jì)算等新技術(shù),構(gòu)建實(shí)體社會(huì)管理與虛擬社會(huì)管理相結(jié)合的社會(huì)管理一體化模式,實(shí)現(xiàn)智慧城市的創(chuàng)新社會(huì)管理。
A.動(dòng)態(tài)感知:對(duì)現(xiàn)實(shí)社會(huì)和虛擬社會(huì)中的人員、場(chǎng)所、設(shè)備設(shè)施、活動(dòng)、輿論等信息進(jìn)行動(dòng)態(tài)采集。
B.互聯(lián)互通:實(shí)現(xiàn)區(qū)、街道鎮(zhèn)、居委、商務(wù)樓宇等社會(huì)綜合管理部門(mén)的信息共享,并與市級(jí)公安、司法、住房等社會(huì)管理相關(guān)部門(mén)信息整合。
C.應(yīng)用智能:構(gòu)建社會(huì)管理業(yè)務(wù)模型,對(duì)采集的海量大數(shù)據(jù)信息進(jìn)行分析處理,形成趨勢(shì)判斷,為社會(huì)綜合治理提供預(yù)警和處理的智能化手段。
D.管理創(chuàng)新:形成虛擬社會(huì)管理的綜合應(yīng)用,并對(duì)實(shí)體社會(huì)管理提供支撐。
(4)基礎(chǔ)設(shè)施領(lǐng)域
城市基礎(chǔ)設(shè)施是對(duì)城市生存、發(fā)展所必須具備的社會(huì)性基礎(chǔ)設(shè)施和工程性基礎(chǔ)設(shè)施的總稱[10]。
運(yùn)用大數(shù)據(jù),通過(guò)對(duì)各基礎(chǔ)設(shè)施如軌道交通、電力設(shè)施等數(shù)據(jù)采集、分析,將有助于促進(jìn)城市基礎(chǔ)設(shè)施建設(shè)的完善。如在軌道交通領(lǐng)域,通過(guò)采集客流信息、軌交數(shù)據(jù)、監(jiān)測(cè)數(shù)據(jù)等,形成軌道交通大數(shù)據(jù)集。通過(guò)對(duì)大數(shù)據(jù)的數(shù)據(jù)挖掘和決策分析,進(jìn)行大客流預(yù)測(cè)、事件預(yù)警、推送出行路線等,為規(guī)劃新的路線提供決策支持,為安全暢通提供保證,也將有利于城市綜合交通的優(yōu)化。
(5)醫(yī)藥衛(wèi)生領(lǐng)域
在醫(yī)療改革的國(guó)家政策背景下,大數(shù)據(jù)在醫(yī)藥衛(wèi)生行業(yè)的應(yīng)用也日顯重要。
醫(yī)藥衛(wèi)生領(lǐng)域,病人個(gè)人信息、診療信息、處方醫(yī)囑、檢查報(bào)告等共同構(gòu)成醫(yī)藥衛(wèi)生的大數(shù)據(jù)資源??赏ㄟ^(guò)對(duì)這些數(shù)據(jù)源的采集、抽取、轉(zhuǎn)換,形成醫(yī)療信息資源庫(kù),為居民個(gè)人、醫(yī)生、衛(wèi)生管理部門(mén)提供數(shù)據(jù)支持。
面向居民,醫(yī)療信息資源庫(kù)為居民提供個(gè)性化健康管理,如智能導(dǎo)診、健康記錄、健康問(wèn)答、個(gè)性化保健建議、健康咨詢、健康預(yù)警、個(gè)性化健康教育等。
面向醫(yī)生,醫(yī)療信息資源庫(kù)為醫(yī)生診斷提供個(gè)性化臨床決策支持。如,基于醫(yī)療大數(shù)據(jù)分析提煉病種的關(guān)鍵特征指標(biāo),形成糖尿病、高血壓、腫瘤幾個(gè)病種的診療模型。
面向衛(wèi)生管理,醫(yī)療信息資源庫(kù)將有助于精細(xì)化衛(wèi)生管理。如,采用特異群組挖掘技術(shù),針對(duì)就醫(yī)行為大數(shù)據(jù),并結(jié)合持卡人的多元信息,設(shè)計(jì)異常就醫(yī)行為檢測(cè)算法。
大數(shù)據(jù)的使用已經(jīng)成為一個(gè)國(guó)家各領(lǐng)域提高生產(chǎn)力、創(chuàng)新能力以及競(jìng)爭(zhēng)力的關(guān)鍵要素。雖然我國(guó)在智慧城市建設(shè)、在大數(shù)據(jù)的開(kāi)發(fā)和利用方面取得了一定的成績(jī),但是我們要清楚地認(rèn)識(shí)到,在智慧城市的現(xiàn)今階段大數(shù)據(jù)的開(kāi)發(fā)和利用所面臨的困難:
政府各個(gè)部門(mén)之間的數(shù)據(jù)共享程度低;
政府?dāng)?shù)據(jù)開(kāi)放剛剛起步;
大數(shù)據(jù)生態(tài)環(huán)境中各個(gè)角色的權(quán)利義務(wù)不清;
數(shù)據(jù)資產(chǎn)所有權(quán)的界定和保護(hù);
數(shù)據(jù)利用中的安全和隱私保護(hù)問(wèn)題;
處理大數(shù)據(jù)能力的技術(shù)和平臺(tái);
大數(shù)據(jù)相關(guān)的人才匱乏。
面向未來(lái),在智慧城市的建設(shè)過(guò)程中如何更好的利用大數(shù)據(jù),需要進(jìn)一步的思考、解決和實(shí)踐:
(1)建立政府?dāng)?shù)據(jù)開(kāi)放的機(jī)制:參考國(guó)外政府大數(shù)據(jù)開(kāi)放所遵循的原則,完整性、原始性、及時(shí)性、可獲取性、可處理性、非歧視性、非專有性、非許可性等;鼓勵(lì)政府部門(mén)共享和開(kāi)放,建立數(shù)據(jù)質(zhì)量評(píng)估機(jī)制,鼓勵(lì)第三方挖掘政府信息資源的積極性,出臺(tái)相關(guān)的獎(jiǎng)勵(lì)措施。
(2)加強(qiáng)對(duì)數(shù)據(jù)隱私、安全、知識(shí)產(chǎn)權(quán)、法律法規(guī)、標(biāo)準(zhǔn)規(guī)范的研究與制定:建立相關(guān)標(biāo)準(zhǔn)規(guī)范、法律法規(guī);研究個(gè)人數(shù)據(jù)保護(hù)的法律瓶頸;明確擁有者、使用者、第三方社會(huì)資源、最終用戶等各方的責(zé)任、權(quán)利和義務(wù);加強(qiáng)對(duì)數(shù)據(jù)主權(quán)研究;加強(qiáng)對(duì)數(shù)據(jù)跨境流動(dòng)監(jiān)管;加強(qiáng)數(shù)據(jù)風(fēng)險(xiǎn)分級(jí)管理。
(3)加強(qiáng)大數(shù)據(jù)人才(分析、管理、技術(shù))培養(yǎng)與培育:尤其注重培育跨界復(fù)合型人才,既要熟悉政府業(yè)務(wù),又要熟悉大數(shù)據(jù)技術(shù);加強(qiáng)對(duì)政府信息化和管理決策部門(mén)、對(duì)大數(shù)據(jù)技術(shù)人才的相關(guān)培訓(xùn),技術(shù)與業(yè)務(wù)的結(jié)合點(diǎn)。
(4)推動(dòng)技術(shù)、產(chǎn)品與服務(wù)的加速融合與創(chuàng)新:鼓勵(lì)多種形式的服務(wù)模式的探索和創(chuàng)新;鼓勵(lì)政府部門(mén)購(gòu)買(mǎi)大數(shù)據(jù)相關(guān)的產(chǎn)品和服務(wù);鼓勵(lì)社會(huì)第三方基于大數(shù)據(jù)的運(yùn)營(yíng)模式探索和創(chuàng)新;支持大數(shù)據(jù)公共服務(wù)平臺(tái)、專業(yè)大數(shù)據(jù)公共平臺(tái)、產(chǎn)學(xué)研聯(lián)盟以及相關(guān)基礎(chǔ)設(shè)施的建設(shè)。
(5)大數(shù)據(jù)時(shí)代真的已經(jīng)來(lái)臨,智慧城市的建設(shè)更加離不開(kāi)大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品的應(yīng)用、服務(wù)和管理模式的創(chuàng)新、融合業(yè)務(wù)和運(yùn)營(yíng)模式的探索,大數(shù)據(jù)不僅是引領(lǐng)新一輪城市經(jīng)濟(jì)社會(huì)發(fā)展的重要驅(qū)動(dòng)因素,一定意義上也將是人類社會(huì)發(fā)展進(jìn)程中的劃時(shí)代變革。
[1] 陳素梅. PACS存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].深圳:廈門(mén)大學(xué),2013.
[2] Fay Chang,Jeffrey Dean,et al. Bigtable: A Distributed Storage System for Structured Data[J]. ACM Trans Comput. Syst., 2008, Vol.26.
[3] Jeffrey Dean,Sanjay Ghemawat Commun. MapReduce: Simplified Data Processing on Large Clusters[J]. ACM 2008.
[4] 宋杰.面向多類型數(shù)據(jù)源的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建及ETL關(guān)鍵技術(shù)的研究[D].沈陽(yáng):東北大學(xué), 2008.
[5] 李明高.“大數(shù)據(jù)”之于“電子政務(wù)”[J].信息化建設(shè),2013(1):18-19.
[6] 龐擁軍.城市基礎(chǔ)設(shè)施建設(shè)評(píng)價(jià)研究[D].天津:天津大學(xué), 2008.
The Application of Big Data in Smart City
Li Guangya, Zhang Jingyi, Tong Qing
(Wonders Information Co., Ltd, Shanghai 201112, China)
With the rapid development of Smart City, multi-source, different- structured and redundant big data has been well developed. Technologies such as data excavation and decision analysis provide an opportunity for big data to transfer into data asset which is necessary measures for the intelligence and interconnection of Smart City. Besides, the paper described the concepts, data resource and technologies of data analysis of Smart City. Furthermore, it claimed the synthetic application of big data of wisdom city. What's more, it demonstrated the application status of big data in current key industries and an expectation of its future development. Finally, it provided proposals and ideas for a further application of big data of Smart City.
Smart City; Big Data
TP311.13
A
2014.11.12)
1007-757X(2014)12-0001-04
李光亞(1973-),男,萬(wàn)達(dá)信息股份有限公司,高級(jí)工程師(教授級(jí)),博士,研究方向:軟件工程、大數(shù)據(jù)管理、云計(jì)算、城市智能化,上海,201112
張敬誼(1974-),女,萬(wàn)達(dá)信息股份有限公司,高級(jí)工程師,博士,研究方向:大數(shù)據(jù)管理、計(jì)算智能、移動(dòng)醫(yī)療,上海,201112
童 慶(1977-),男,萬(wàn)達(dá)信息股份有限公司,高級(jí)工程師,博士,研究方向:大數(shù)據(jù)管理、電子商務(wù),上海,201112