文/范可佳
隨著近年來城市化問題的不斷加重,如何解決城市問題,讓城市變得更加智慧,成為當(dāng)前城市發(fā)展的重要課題。聯(lián)合大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算系統(tǒng)最終形成一個(gè)集中大系統(tǒng),對(duì)人與物進(jìn)行控制、感知,同時(shí)借助新的理念開展城市規(guī)劃建設(shè),幫助城市解決各種問題。
由于云計(jì)算、物聯(lián)網(wǎng)的飛速發(fā)展,城市數(shù)據(jù)量在不斷增加,大量的數(shù)據(jù)中隱含了豐富的信息資源,亟待人們?nèi)パ芯亢桶l(fā)現(xiàn)。智慧城市是一個(gè)復(fù)雜的綜合體,集成了大量的數(shù)據(jù)信息。
大數(shù)據(jù)是發(fā)展城市的動(dòng)力之一,城市大數(shù)據(jù)由兩個(gè)要素構(gòu)成:
(1)城市數(shù)據(jù),城市數(shù)據(jù)主要來自城市管理和城市運(yùn)轉(zhuǎn),包括同城市運(yùn)營有關(guān)的大數(shù)據(jù),這里的數(shù)據(jù)主要是工業(yè)化與城鎮(zhèn)化數(shù)據(jù);
(2)農(nóng)業(yè)大數(shù)據(jù),該類數(shù)據(jù)經(jīng)過信息化處理,就可以形成相應(yīng)的城市大數(shù)據(jù)。
大數(shù)據(jù)搭建的信息服務(wù)、數(shù)據(jù)資源管理、數(shù)據(jù)采集一體化服務(wù)平臺(tái),不僅可以提供對(duì)外應(yīng)用服務(wù),還可以實(shí)現(xiàn)對(duì)內(nèi)數(shù)據(jù)整合,將來源不同、應(yīng)用不同、類型不同的數(shù)據(jù)進(jìn)行統(tǒng)一化處理,同時(shí)對(duì)外進(jìn)行數(shù)據(jù)共享,開展信息服務(wù),形成知識(shí)集中庫。
隨著互聯(lián)網(wǎng)的不斷發(fā)展,大數(shù)據(jù)逐漸出現(xiàn)在人們的視野當(dāng)中,當(dāng)下階段,在大數(shù)據(jù)的助推下,很多企業(yè)得到了空前的發(fā)展,經(jīng)過近年來的行業(yè)總結(jié),歸納出大數(shù)據(jù)的主要特點(diǎn)為:多樣性、規(guī)模性、準(zhǔn)確性、高速性、高值性。在這里,規(guī)模性主要是指大部分的數(shù)據(jù)規(guī)模都能達(dá)到PB、TB或是EB的程度。多樣性主要是指在大數(shù)據(jù)中包含有多種格式與形態(tài)的數(shù)據(jù)。高速性主要是指大數(shù)據(jù)通常需要在較短的時(shí)間內(nèi)獲得相應(yīng)的數(shù)據(jù)信息處理。準(zhǔn)確性主要是指大數(shù)據(jù)在實(shí)際的數(shù)據(jù)處理階段,一定要保證實(shí)際數(shù)據(jù)處理的準(zhǔn)確性,從而才能對(duì)其開展相應(yīng)的數(shù)據(jù)應(yīng)用。高值性主要是指,大數(shù)據(jù)所包含的數(shù)據(jù)價(jià)值有很多,可以通過數(shù)據(jù)挖掘與分析的方式來對(duì)其進(jìn)行有效開采,從而實(shí)現(xiàn)對(duì)大數(shù)據(jù)的精準(zhǔn)利用,最終為社會(huì)發(fā)展帶來巨大的商業(yè)價(jià)值。
圖1顯示的是,以云計(jì)算為基礎(chǔ)的城市大數(shù)據(jù)模型,該圖展示了來自不同路徑的城市大數(shù)據(jù)被傳遞到數(shù)據(jù)庫中,經(jīng)過云計(jì)算平臺(tái)對(duì)數(shù)據(jù)的計(jì)算、發(fā)布、處理等操作,用戶可以通過相應(yīng)的接口對(duì)各種計(jì)算資源、數(shù)據(jù)資源進(jìn)行訪問。
圖2顯示了以云計(jì)算為基礎(chǔ)的城市大數(shù)據(jù)框架模型,從上到下依次為智慧城市云計(jì)算平臺(tái)、大數(shù)據(jù)中心、物聯(lián)網(wǎng)。下圖這一完整框架結(jié)構(gòu),有助于智慧城市的構(gòu)建。
通過物聯(lián)網(wǎng)收集到最新的數(shù)據(jù)資料,然后再經(jīng)過網(wǎng)絡(luò)渠道將資料傳遞到大數(shù)據(jù)中心。運(yùn)用虛擬化等技術(shù)建立的云計(jì)算平臺(tái),可以提供云計(jì)算、云存儲(chǔ)等相應(yīng)的服務(wù)。用戶可以借助應(yīng)用程序客戶端手機(jī)、瀏覽器、平板電腦等終端設(shè)備對(duì)云端資源進(jìn)行訪問。
建設(shè)城市大數(shù)據(jù)云服務(wù)平臺(tái)是一項(xiàng)復(fù)雜的工程,需要重點(diǎn)解決的關(guān)鍵問題:
(1)理順城市應(yīng)用與云中數(shù)據(jù)的關(guān)系;
(2)構(gòu)建城市大數(shù)據(jù)云服務(wù)平臺(tái),完成物聯(lián)網(wǎng)云端信息遷移,實(shí)現(xiàn)私有云和無線傳感網(wǎng)數(shù)據(jù)采集的對(duì)接;
(3)利用軟硬件資源,結(jié)合虛擬化技術(shù),建立云存儲(chǔ)模式,完成對(duì)數(shù)據(jù)的組織;
(4)將SOA作為基礎(chǔ)框架建立虛擬化城市大數(shù)據(jù)云計(jì)算平臺(tái),搜索調(diào)用機(jī)制,利用異構(gòu)計(jì)算來實(shí)現(xiàn)多元化的城市數(shù)據(jù)計(jì)算與訪問,從而對(duì)云計(jì)算平臺(tái)的性能提升進(jìn)行研究。
以HDFS為基礎(chǔ)構(gòu)建云存儲(chǔ)平臺(tái),存儲(chǔ)功能主要由數(shù)據(jù)庫與HDFS一起承擔(dān)。云存儲(chǔ)平臺(tái)的性能主要受云存儲(chǔ)功能模塊的影響,模塊對(duì)文件進(jìn)行大量的讀取,實(shí)際寫入效率的提升對(duì)于整個(gè)云存儲(chǔ)平臺(tái)來說十分重要。引進(jìn)Hadoop系統(tǒng)對(duì)整個(gè)文件當(dāng)中的元數(shù)據(jù)開展相應(yīng)的數(shù)據(jù)管理,有效避免保存在數(shù)據(jù)庫當(dāng)中的大量元數(shù)據(jù)信息與文件信息,受到來自服務(wù)器端的影響。運(yùn)用MapReduce技術(shù)對(duì)大數(shù)據(jù)的相關(guān)計(jì)算進(jìn)行處理。MapReduce技術(shù)主要是處理大數(shù)據(jù)中的并行計(jì)算問題,也是云計(jì)算當(dāng)中的主要技術(shù),通常一個(gè)MapReduce有兩個(gè)部分構(gòu)成,映射函數(shù)與歸約函數(shù)。映射函數(shù)的主要作用是,實(shí)現(xiàn)對(duì)鍵值對(duì)數(shù)據(jù)的更新,歸約函數(shù)的作用主要是確保所有鍵值對(duì)中的每一組都能實(shí)現(xiàn)鍵組的共享。借助云平臺(tái)將大數(shù)據(jù)中的任務(wù)進(jìn)行分解,然后將其分別安排到不同的節(jié)點(diǎn)下面,通過相應(yīng)的并行計(jì)算來進(jìn)一步提升實(shí)際云平臺(tái)的性能。
圖1
圖2
綜上所述,隨著城市經(jīng)濟(jì)的不斷發(fā)展,城市化問題也逐漸增多,為了更好的解決當(dāng)前的城市化問題,開展相應(yīng)的智慧城市建設(shè),在實(shí)際城市發(fā)展建設(shè)中應(yīng)用大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等聯(lián)合系統(tǒng),建立相應(yīng)的大數(shù)據(jù)云服務(wù)平臺(tái),通過對(duì)城市數(shù)據(jù)的采集,幫助其更好的分析當(dāng)前城市建設(shè)存在主要問題與主要緣由,如此,才能找到最佳的解決策略,幫助城市更好的進(jìn)行建設(shè)管理,從而才能進(jìn)一步促進(jìn)城市的健康長久發(fā)展,最終朝著“智慧城市”的方向逐漸邁進(jìn)。