李玉娥

摘要：近年來(lái)，大數(shù)據(jù)技術(shù)逐漸應(yīng)用于各行領(lǐng)域，一直備受社會(huì)各界關(guān)注，大數(shù)據(jù)的持續(xù)發(fā)展將推動(dòng)智慧城市的發(fā)展，該文主要簡(jiǎn)述大數(shù)據(jù)時(shí)代下智慧城市的發(fā)展以及大數(shù)據(jù)技術(shù)在智慧城市中的應(yīng)用領(lǐng)域，淺談智慧城市發(fā)展帶來(lái)的新的挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;智慧城市

中圖分類(lèi)號(hào)：TP311? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? ? 文章編號(hào)：1009-3044（2018）36-0022-02

隨著計(jì)算機(jī)應(yīng)用技術(shù)的不斷成熟，網(wǎng)站和軟件開(kāi)發(fā)在近年來(lái)快速發(fā)展，并由原來(lái)傳統(tǒng)的單機(jī)應(yīng)用架構(gòu)演變?yōu)榉植际郊簯?yīng)用架構(gòu)，零散的數(shù)據(jù)經(jīng)過(guò)分布式應(yīng)用架構(gòu)體系集中統(tǒng)一管理，網(wǎng)絡(luò)數(shù)據(jù)信息爆炸的時(shí)代帶來(lái)的效應(yīng)就是大數(shù)據(jù)技術(shù)的產(chǎn)出，進(jìn)而推動(dòng)分布式計(jì)算和未來(lái)智慧城市的發(fā)展。

1 大數(shù)據(jù)體系下的技術(shù)概述

大數(shù)據(jù)是一個(gè)抽象概念，可以把理解為對(duì)億量級(jí)的網(wǎng)絡(luò)數(shù)據(jù)經(jīng)行收集并能對(duì)進(jìn)行實(shí)時(shí)計(jì)算與分析的技術(shù)。隨著互聯(lián)網(wǎng)的不斷發(fā)展，網(wǎng)絡(luò)上的信息在得以擴(kuò)充后，時(shí)刻都在不斷變化著，傳統(tǒng)的數(shù)據(jù)分析技術(shù)并不能及時(shí)處理網(wǎng)絡(luò)信息。

如圖，該圖片通過(guò)大數(shù)據(jù)的技術(shù)架構(gòu)，將大數(shù)據(jù)的技術(shù)體系進(jìn)行展示。該圖的最底部是基礎(chǔ)設(shè)施，包括了計(jì)算資源、內(nèi)存與存儲(chǔ)以及網(wǎng)絡(luò)之間的互聯(lián)，具體體現(xiàn)在計(jì)算節(jié)點(diǎn)、集群、機(jī)柜以及數(shù)據(jù)中心。其上面的內(nèi)容是數(shù)據(jù)存儲(chǔ)和管理，該部分包括的內(nèi)容有文件系統(tǒng)、數(shù)據(jù)庫(kù)以及和YARN相類(lèi)似的資源管理系統(tǒng)。之后的內(nèi)容是計(jì)算處理層，包括Hadoop、MapReduce和Spark，除此之外，還有在這些內(nèi)容基礎(chǔ)上的各種各樣的計(jì)算范式，例如批處理、信息流處理和圖形計(jì)算等，還有由此衍生出的編程模型中的計(jì)算模型，如BSP、GAS 等等。數(shù)據(jù)分析和可視化基于計(jì)算處理層。分析包括簡(jiǎn)單的查詢(xún)分析、流分析和相對(duì)復(fù)雜的分析（如機(jī)器學(xué)習(xí)、圖形計(jì)算等）。查詢(xún)分析更多地以表結(jié)構(gòu)和關(guān)系函數(shù)為基礎(chǔ)，流分析以數(shù)據(jù)、事件流和相對(duì)簡(jiǎn)單的統(tǒng)計(jì)分析為基礎(chǔ)，而復(fù)雜分析則是以相對(duì)復(fù)雜的數(shù)據(jù)結(jié)構(gòu)、方法為基礎(chǔ)，如圖、矩陣、迭代計(jì)算和線性代數(shù)。

一般情況下，具有普通意義的可視化能夠展示分析結(jié)果?？墒遣扇〗换ナ娇梢暬姆绞剑軌?qū)M(jìn)行探究式的詢(xún)問(wèn)，從而讓分析有新的線索，從而形成分析迭代以及可視化。當(dāng)前，該領(lǐng)域研究的重點(diǎn)，包括以大規(guī)模數(shù)據(jù)為基礎(chǔ)的實(shí)時(shí)交互可視化分析，以及該過(guò)程引入的、自動(dòng)化相關(guān)的要素。

上述各層需要兩個(gè)領(lǐng)域?qū)⑵浯怪贝蛲?，在打通以后，可以進(jìn)行從整體上來(lái)把握。一方面是編程以及管理工具，其方向體現(xiàn)在通過(guò)學(xué)習(xí)的方式，機(jī)器實(shí)現(xiàn)自動(dòng)最優(yōu)化、盡可能地不需要編程、不需要相對(duì)復(fù)雜的配置。另一方面則是確保數(shù)據(jù)安全，該領(lǐng)域貫穿于整體的技術(shù)體系之中。

在大數(shù)據(jù)整個(gè)生命周期中，分為四個(gè)階段：

1.1 數(shù)據(jù)收集

在大數(shù)據(jù)技術(shù)的整個(gè)運(yùn)行周期種，首要的環(huán)節(jié)就是數(shù)據(jù)采集，要依據(jù)Map Reduce產(chǎn)生的數(shù)據(jù)進(jìn)行有效分類(lèi)，先分布式局部計(jì)算得出結(jié)果再統(tǒng)一合并得到計(jì)算結(jié)果。

1.2 數(shù)據(jù)存儲(chǔ)

在大數(shù)據(jù)生命周期中如何將采集到的數(shù)據(jù)進(jìn)行存儲(chǔ)和管理，并在實(shí)際應(yīng)用過(guò)程中對(duì)數(shù)據(jù)經(jīng)行及時(shí)快速的調(diào)度，是實(shí)現(xiàn)大數(shù)據(jù)分析技術(shù)的第二大技術(shù)。由于網(wǎng)絡(luò)信息具有數(shù)量多，多元性，重復(fù)性，復(fù)雜性等特征，將網(wǎng)絡(luò)數(shù)據(jù)按照類(lèi)型級(jí)別劃分，實(shí)時(shí)分析，分類(lèi)存儲(chǔ)。在存儲(chǔ)技術(shù)得到充分發(fā)展的情況下，所帶來(lái)的情況是數(shù)據(jù)得以快速增長(zhǎng)，甚至于存儲(chǔ)成本降低的速度遠(yuǎn)遠(yuǎn)低于數(shù)據(jù)的增長(zhǎng)速度。當(dāng)前，在依照標(biāo)準(zhǔn)進(jìn)行存儲(chǔ)，以及大數(shù)據(jù)的保存方面，有著成本障礙。

1.3 數(shù)據(jù)分析

因?yàn)镸apReduce主要應(yīng)用于推進(jìn)大數(shù)據(jù)進(jìn)行線下批處理，在面對(duì)一些問(wèn)題時(shí)會(huì)存在較強(qiáng)的不適應(yīng)，諸如在面向低延遲以及具有相對(duì)復(fù)雜數(shù)據(jù)關(guān)系、相對(duì)復(fù)雜運(yùn)算的大數(shù)據(jù)問(wèn)題時(shí)就會(huì)存在這樣的狀況。所以，近年來(lái)對(duì)大數(shù)據(jù)的計(jì)算模式進(jìn)行深入的研究，推出了很多該領(lǐng)域新的研究成果。

大數(shù)據(jù)的計(jì)算模式，主要指的是依據(jù)大數(shù)據(jù)不同側(cè)面的特征，例如數(shù)據(jù)方面的特征、運(yùn)算方面的特征等等，從這些計(jì)算問(wèn)題以及相關(guān)的需求中加以提煉，從而構(gòu)建各種各樣的高層抽象（abstraction）或者模型（model）。比如，MapReduce中涉及的并行計(jì)算抽象，著名的Spark系統(tǒng)中的“分布內(nèi)存抽象RDD”，CMU著名的圖計(jì)算系統(tǒng)GraphLab中存在的“圖并行抽象”等。

并行計(jì)算方法在傳統(tǒng)階段，重要運(yùn)用的方式就是在體系結(jié)構(gòu)以及編程語(yǔ)言方面對(duì)一些抽象以及模型進(jìn)行定義?？墒且?yàn)樵谔幚磉@些大數(shù)據(jù)的問(wèn)題時(shí)要考慮到一些數(shù)據(jù)方面的特征以及運(yùn)算方面的特征，以至于在處理大數(shù)據(jù)的時(shí)候，要將這些不同層面的特征有機(jī)結(jié)合起來(lái)，從而建立起相對(duì)層面較多的計(jì)算模式。

按照處理大數(shù)據(jù)時(shí)出現(xiàn)的多樣化的需求，以及存在的不同特征，大數(shù)據(jù)中較為典型的各種各樣的計(jì)算模式已經(jīng)出現(xiàn)了。和計(jì)算模式相類(lèi)似或者相適應(yīng)的，涌現(xiàn)出非常多的關(guān)于大數(shù)據(jù)計(jì)算的系統(tǒng)以及工具。因?yàn)閱我幻枥L計(jì)算模式是非常抽象的，所以在描繪的時(shí)候，要把相關(guān)的計(jì)算系統(tǒng)以及工具同步給出，就像圖1那樣。這會(huì)使得對(duì)計(jì)算模式有著更深的把握和理解，對(duì)大數(shù)據(jù)發(fā)展的現(xiàn)狀也有著清晰的認(rèn)識(shí)，同時(shí)有助于選擇更加合適的技術(shù)、系統(tǒng)與工具。

2 智慧城市概述

大數(shù)據(jù)技術(shù)結(jié)合物聯(lián)網(wǎng)等技術(shù)，將原來(lái)的傳統(tǒng)業(yè)務(wù)與網(wǎng)絡(luò)進(jìn)一步關(guān)聯(lián)，更方便快捷的提高運(yùn)作效率，改善人們的生活質(zhì)量。將大數(shù)據(jù)技術(shù)運(yùn)用于城市道路交通，社會(huì)醫(yī)療，城鎮(zhèn)化管理等方面，可以更細(xì)粒度全面的管理。致力于智慧城市的發(fā)展，這是不斷提升城市發(fā)展信息化水平的重要措施。

以大數(shù)據(jù)技術(shù)的應(yīng)用為基礎(chǔ)，要構(gòu)建工作平臺(tái)，該平臺(tái)涉及基礎(chǔ)設(shè)施、大數(shù)據(jù)等內(nèi)容，加大對(duì)各種大數(shù)據(jù)的管理力度，同時(shí)依據(jù)工作需要對(duì)大數(shù)據(jù)進(jìn)行有效的處理和管理等等，在管理中注重將管理與服務(wù)緊密結(jié)合起來(lái)，提升服務(wù)的品質(zhì)，使得城市在交通、物流等方面的管理得到有效的提升，進(jìn)行城市各個(gè)行業(yè)的智慧綜合利用。

生活備受廣大人民關(guān)注的是往往是圍繞生活的一些服務(wù)行業(yè)，不管未來(lái)如何發(fā)展，衣食住行都是必不可少的，未來(lái)的智慧城市的發(fā)展也離不開(kāi)這個(gè)核心。未來(lái)智慧城市將為繞智慧物流體系、能源體系、公共服務(wù)體系、交通管理體系、健康管理體系，以及智慧安居體系、文化服務(wù)體系等方面。

3 目前的發(fā)展現(xiàn)狀

目前國(guó)家大力推進(jìn)智慧城市的發(fā)展，2013年1月29日，第一批智慧城市的試點(diǎn)出現(xiàn)了，共計(jì)90個(gè)試點(diǎn)。這里包括37個(gè)市、50個(gè)區(qū)、3個(gè)城鎮(zhèn)。中國(guó)已有311個(gè)地級(jí)市開(kāi)展數(shù)字城市建設(shè)，智慧城市建設(shè)讓人們可以更快捷的享受到數(shù)字帶給生活的便利。智慧城市試點(diǎn)需要有3至5年的創(chuàng)建時(shí)期，國(guó)家相關(guān)部門(mén)將會(huì)組織對(duì)此的評(píng)估，對(duì)試點(diǎn)著手評(píng)定，評(píng)定的等級(jí)共分為三類(lèi)，即一星級(jí)、二星級(jí)、三星級(jí)。從相關(guān)信息能夠了解，相關(guān)部門(mén)在推進(jìn)智慧城市建設(shè)方面已經(jīng)加強(qiáng)制度建設(shè)，將試點(diǎn)工作推向深入。很多運(yùn)營(yíng)商和更多的城市就智慧城市的建設(shè)簽訂協(xié)議，加大資金投入。

智慧城市得到充分發(fā)展，這是推進(jìn)城市化進(jìn)程，提高城市信息化建設(shè)的重要舉措。以設(shè)備廠商的層面來(lái)看，光通信設(shè)備廠商、無(wú)線通信設(shè)備廠商將自身具備的優(yōu)勢(shì)得到最大的發(fā)揮，把無(wú)線和有線有機(jī)結(jié)合起來(lái)，從而將網(wǎng)絡(luò)資源的配置得以最優(yōu)化，從而推進(jìn)智慧城市得到更大幅度的發(fā)展，同時(shí)相關(guān)的通信設(shè)備廠商、芯片廠商會(huì)得到最大的發(fā)展，收獲較大的經(jīng)濟(jì)效益。

4 智慧城市發(fā)展面臨挑戰(zhàn)

如何保證數(shù)據(jù)的安全性。大數(shù)據(jù)將社會(huì)的運(yùn)行狀態(tài)用數(shù)據(jù)描述，現(xiàn)代生活和虛擬數(shù)據(jù)緊密聯(lián)系，帶來(lái)的首要問(wèn)題就是數(shù)據(jù)的安全性和可控性。安全是未來(lái)智慧城市發(fā)展面臨的首要問(wèn)題，信息泄露對(duì)于個(gè)人，帶來(lái)的是個(gè)人信息的泄露，對(duì)于公司帶來(lái)的是公司運(yùn)營(yíng)敏感信息的泄露，需要加強(qiáng)防范網(wǎng)絡(luò)病毒，黑客技術(shù)，防止威脅數(shù)據(jù)安全。

保證數(shù)據(jù)的可控性，數(shù)億量級(jí)的數(shù)據(jù)需要實(shí)時(shí)處理，對(duì)于現(xiàn)在的計(jì)算機(jī)硬件來(lái)說(shuō)是一個(gè)極大的挑戰(zhàn)，如何搭建一個(gè)高性能，高并發(fā)的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)，并在突發(fā)情況，自然災(zāi)害發(fā)生的情況下保證數(shù)據(jù)不會(huì)丟失，是智慧城市發(fā)展的第二個(gè)需要面臨的問(wèn)題。

保證數(shù)據(jù)的真實(shí)有效性，網(wǎng)絡(luò)數(shù)據(jù)每時(shí)每刻都在發(fā)生變化，隨著時(shí)間的推移，網(wǎng)絡(luò)數(shù)據(jù)不斷增加，數(shù)億量級(jí)的網(wǎng)絡(luò)數(shù)據(jù)，如何保證此時(shí)的數(shù)據(jù)真實(shí)有效是大數(shù)據(jù)智慧城市建設(shè)需要解決的問(wèn)題之一。

未來(lái)階段繼續(xù)發(fā)展大數(shù)據(jù)，所面臨的挑戰(zhàn)遠(yuǎn)遠(yuǎn)不止這些，隨著社會(huì)需求的不斷增加與變化，未來(lái)需要解決的問(wèn)題將會(huì)更多。更好地將大數(shù)據(jù)技術(shù)應(yīng)用與智慧城市的建設(shè)并緩解或解決現(xiàn)有社會(huì)中的問(wèn)題是智慧城市建設(shè)的最終目標(biāo)。

5 智慧城市發(fā)展的建議

上文已述，大數(shù)據(jù)背景下的智慧城市的發(fā)展會(huì)極大加重網(wǎng)絡(luò)數(shù)據(jù)被竊取的風(fēng)險(xiǎn)，給不少黑客留下了竊取他人信息的機(jī)會(huì)，在建設(shè)智慧城市的道路上和未來(lái)發(fā)展的過(guò)程中，網(wǎng)絡(luò)安全是必須要引起重視，一旦智慧城市走進(jìn)人們的生活，就意味著所有人生活的數(shù)據(jù)信息都會(huì)在網(wǎng)絡(luò)的某個(gè)的地方存儲(chǔ)，這就極大的加劇了個(gè)人信息泄漏問(wèn)題的嚴(yán)重性。同時(shí)數(shù)據(jù)量巨大，能夠?qū)崿F(xiàn)實(shí)時(shí)處理并且即使分析的前提是搭建高可用，穩(wěn)定性強(qiáng)，且容錯(cuò)率高的服務(wù)架構(gòu)體系。

針對(duì)網(wǎng)絡(luò)安全的建議，個(gè)人用戶(hù)賬戶(hù)信息使用不同的加密算法，如MD5.電話功能使用虛擬電話。將數(shù)據(jù)經(jīng)行加密處理。雖然這不能100%的保證數(shù)據(jù)的安全，但是可以一定程度上降低安全信息泄露的可能性。

針對(duì)大數(shù)據(jù)處理的服務(wù)架構(gòu)搭建，要保證架構(gòu)的穩(wěn)定性，和容錯(cuò)率較高，在大數(shù)據(jù)分析技術(shù)中使用集群搭建，在不同的服務(wù)之間分布式搭建，合理的應(yīng)用現(xiàn)有的資源，將資源利用率最大化。

6 結(jié)束語(yǔ)

我國(guó)的經(jīng)濟(jì)在不斷發(fā)展，互聯(lián)網(wǎng)技術(shù)的發(fā)展是國(guó)家和社會(huì)關(guān)注的重大問(wèn)題，在大數(shù)據(jù)背景下，智慧城市時(shí)代會(huì)逐漸走向人們的生活。智慧城市的發(fā)展是大數(shù)據(jù)技術(shù)發(fā)展成熟的標(biāo)志，智慧城市的建設(shè)將給社會(huì)的各個(gè)方面帶來(lái)便利，在迎接新的技術(shù)帶來(lái)的便利的同時(shí)，也要解決新的問(wèn)題，需要有針對(duì)地更快更好的發(fā)展關(guān)于大數(shù)據(jù)方面的研究，加強(qiáng)創(chuàng)新與運(yùn)用，破解技術(shù)方面存在的問(wèn)題，不斷推進(jìn)智慧城市發(fā)展的新進(jìn)程，從而解決智慧城市中的現(xiàn)有問(wèn)題，讓技術(shù)改變生活。

參考文獻(xiàn)：

[1] 蔡志珍. 計(jì)算機(jī)大數(shù)據(jù)現(xiàn)狀與發(fā)展[J]. 赤峰學(xué)院學(xué)報(bào)， 2016（3）.

[2] 王正青. 大數(shù)據(jù)時(shí)代美國(guó)學(xué)生數(shù)據(jù)隱私保護(hù)立法與治理體系[J]. 比較教育研究， 2016（11）：28-33.

[3] 李德仁， 姚遠(yuǎn)， 邵振峰. 智慧城市中的大數(shù)據(jù)[J]. 武漢大學(xué)學(xué)報(bào)， 2014， 39（6）.

[通聯(lián)編輯：謝媛媛]