◆李 鋒 史慕志

大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題研究

◆李 鋒 史慕志

（中國電子科技集團(tuán)公司第二十八研究所 江蘇 210007）

隨著科學(xué)技術(shù)手段的不斷發(fā)展，大數(shù)據(jù)應(yīng)用技術(shù)及系統(tǒng)在不斷的完善，現(xiàn)階段主要的大數(shù)據(jù)為應(yīng)用技術(shù)云計(jì)算、計(jì)算機(jī)編程模型、大數(shù)據(jù)獲取方法、大數(shù)據(jù)處理系統(tǒng)等等。大數(shù)據(jù)應(yīng)用技術(shù)體系在實(shí)踐中還是存在一些問題與不足，解決這些問題才可以完善大數(shù)據(jù)應(yīng)用技術(shù)體系。對此，文章主要對大數(shù)據(jù)應(yīng)用技術(shù)體系以及其潛在的問題進(jìn)行了簡單的研究分析。

大數(shù)據(jù)；應(yīng)用；技術(shù)體系；潛在問題

0 引言

在科學(xué)技術(shù)的持續(xù)發(fā)展過程中，大數(shù)據(jù)應(yīng)用的技術(shù)體系在不斷的發(fā)展，其存在的潛在問題也逐漸凸顯，而在大數(shù)據(jù)不斷發(fā)展的過程中，必須要解決這些問題，這樣才可以真正的實(shí)現(xiàn)智能化、集約化發(fā)展。

1 大數(shù)據(jù)應(yīng)用技術(shù)體系

大數(shù)據(jù)就是涉及的資料量規(guī)模巨大，無法通過主流軟件工具在合理的時(shí)間中進(jìn)行處理，整理成為為企業(yè)的經(jīng)營決策提供的各種咨詢?，F(xiàn)階段，對于大數(shù)據(jù)的主流定義就是規(guī)模性、多樣性以及高速性。規(guī)模性就是在數(shù)據(jù)累積到了一定的高度，無法通過主流工具對其進(jìn)行處理；多樣性就會對于一些要處理的數(shù)據(jù)類型，主要有結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的特征，在根本上增加了操作的復(fù)雜性；高速性就是在數(shù)據(jù)到達(dá)以及處理過程中的高效性，降低延遲性。同時(shí)，隱私性以及價(jià)值性也是大數(shù)據(jù)的重要特征因素。

1.1 云計(jì)算、計(jì)算編程模型系統(tǒng)

云計(jì)算屬于一種經(jīng)濟(jì)驅(qū)動類型的發(fā)散模型，其主要工作原理就是通過一種虛擬以及動態(tài)的相關(guān)特征進(jìn)行能源、平臺等相關(guān)通信傳輸給客戶。其具體如下的特征：

第一，云計(jì)算可以獲得數(shù)量龐大且分布式的數(shù)據(jù)信息；第二，計(jì)算系統(tǒng)以及規(guī)模經(jīng)濟(jì)之間具有一定的關(guān)系，要根據(jù)需求進(jìn)行計(jì)價(jià)分析；第三，在給客戶提供基礎(chǔ)信息服務(wù)的基礎(chǔ)之上，也可以進(jìn)行信息的存儲計(jì)算處理。云計(jì)算服務(wù)的類型主要可以分為基礎(chǔ)設(shè)施服務(wù)、平臺服務(wù)以及軟件服務(wù)幾種類型。

計(jì)算機(jī)編程模型中較為關(guān)鍵的關(guān)系數(shù)據(jù)庫就是MapReduce,此種技術(shù)主要就是在進(jìn)行聯(lián)機(jī)事物的處理、分析事物以及各種信息數(shù)據(jù)技術(shù)基礎(chǔ)之上，通過低價(jià)的服務(wù)器對大型的數(shù)據(jù)信息進(jìn)行平行處理。此種技術(shù)的主要工作原理就是將整體信息數(shù)據(jù)分為若干個(gè)子系統(tǒng)，通過對子系統(tǒng)數(shù)據(jù)信息進(jìn)行整合，可以獲得全新的結(jié)果。數(shù)據(jù)信息處理主要就是通過初始信息處理，利用Map對初始的Key/value進(jìn)行處理，獲得相關(guān)結(jié)果信息，然后，在將Reduce融合具有相同Key數(shù)值的鍵值，在獲得結(jié)果信息[1]。

1.2 大數(shù)據(jù)獲得方法

（1）利用傳感器獲得大數(shù)據(jù)信息

傳感器的有效應(yīng)用可以為大數(shù)據(jù)信息的獲得提供基礎(chǔ)保障，也可以有效的優(yōu)化傳感器自身的網(wǎng)絡(luò)結(jié)構(gòu)模式。傳感器的網(wǎng)絡(luò)設(shè)備對大數(shù)據(jù)信息的保存、大數(shù)據(jù)的獲取均有不同的要求，處理信息數(shù)據(jù)共享問題是現(xiàn)階段研究的重點(diǎn)。NIST與IEEE組織網(wǎng)絡(luò)應(yīng)用會議對不兼容的問題進(jìn)行了分析；OGC則提出了wed的處理框架，這樣就可以利用wed平臺對各項(xiàng)信息數(shù)據(jù)進(jìn)行收集，控制節(jié)點(diǎn)[2]。

（2）利用wed2.0獲得信息數(shù)據(jù)

Wed2.0就是利用網(wǎng)絡(luò)用戶的身份轉(zhuǎn)化，成為網(wǎng)絡(luò)作者以及共建人，這樣就可以將在網(wǎng)絡(luò)上的各項(xiàng)活動由被動的信息接受變?yōu)樾畔⒌膭?chuàng)造，在網(wǎng)絡(luò)上軟件的開發(fā)以及各種軟件的應(yīng)用就會吸引大量的點(diǎn)擊率，可以說在大數(shù)據(jù)時(shí)代，隨著網(wǎng)絡(luò)技術(shù)手段的成熟，無疑給人們的生活帶來一定的便捷。

2 大數(shù)據(jù)應(yīng)用存在的問題與解決對策

2.1 人才匱乏的問題

在大數(shù)據(jù)時(shí)代其面臨的主要問題就是資金以及人員的問題。大數(shù)據(jù)人才的匱乏是影響大數(shù)據(jù)市場發(fā)展的關(guān)鍵因素。雖然各個(gè)行業(yè)業(yè)務(wù)的數(shù)據(jù)為數(shù)據(jù)分析提供了基礎(chǔ)條件，但是科學(xué)家數(shù)量的不足也直接的制約領(lǐng)導(dǎo)大數(shù)據(jù)的發(fā)展。

數(shù)據(jù)科學(xué)家多數(shù)為復(fù)合型的人才，是對數(shù)學(xué)、統(tǒng)計(jì)以及機(jī)器學(xué)習(xí)等各個(gè)領(lǐng)域知識的綜合性掌控，可以對各項(xiàng)信息數(shù)據(jù)進(jìn)行預(yù)測性的價(jià)值分析。對此，要加強(qiáng)對大數(shù)據(jù)人才的培養(yǎng)。

大數(shù)據(jù)的接受以及管理需要一定的基礎(chǔ)設(shè)施以及能源，而無論是傳感器還是數(shù)據(jù)中心的服務(wù)器，都必須要大量的硬件投入以及能源消耗，這對于大數(shù)據(jù)處理的財(cái)力要求嚴(yán)格，加強(qiáng)對大數(shù)據(jù)資金的服務(wù)器研究的投入，對投資資金的比例進(jìn)行分析，是現(xiàn)階段大數(shù)據(jù)應(yīng)用中必須要解決的問題。

2.2 安全與隱私問題

大數(shù)據(jù)在發(fā)展中面臨著一定的安全以及隱私問題。隨著社會經(jīng)濟(jì)的發(fā)展，傳感器以及攝像頭等設(shè)備數(shù)量在不斷的增多，這樣就會在一定程度上對人們的位置信息進(jìn)行記錄、監(jiān)視，通過對人們海量信息數(shù)據(jù)的分析，就可以了解人們的出行、消費(fèi)等規(guī)律，這樣就會在一定程度上威脅人們的生命以及財(cái)產(chǎn)安全。

同時(shí)，隨著云計(jì)算的不斷發(fā)展，云設(shè)施具有經(jīng)濟(jì)性的特征，這樣就會在一定程度上給僵尸網(wǎng)絡(luò)的發(fā)展帶來了契機(jī)，增加了密碼系統(tǒng)破譯的幾率。而因?yàn)樵朴?jì)算的不斷發(fā)展，使得人們對于計(jì)算機(jī)越來越依賴，將個(gè)人的信息、工作信息等存儲在網(wǎng)絡(luò)之上，這樣就會增加信息泄露的幾率。

為了解決信息安全性的問題，一些學(xué)者提出了K-匿名的方法，將自己與周邊的用戶組成一定范圍的具有集合性的UI性，請求位置服務(wù)，可以模糊自己的精準(zhǔn)定位；一些學(xué)者提出通過對周邊K-1的用戶位置信息進(jìn)行搜集整理，通過其中一個(gè)信息名義發(fā)送位置請求服務(wù)，可以實(shí)現(xiàn)隱藏坐標(biāo)的效果。一些學(xué)者通過將集中信息流控制以及差分隱私保護(hù)等方式，將其融入到數(shù)據(jù)生成以及計(jì)算的階段中，提出了保護(hù)隱私系統(tǒng)，通過隱私保護(hù)系統(tǒng)避免在計(jì)算中將一些非授權(quán)的隱私信息數(shù)據(jù)泄露，支持對計(jì)算結(jié)果的自動除密，這樣可以有效的避免定位信息泄露等問題的出現(xiàn)[3]。

而蘋果則研發(fā)了電子分析污染技術(shù)，此技術(shù)在應(yīng)用上可以將用戶在蘋果產(chǎn)品中產(chǎn)生的各項(xiàng)行為信息數(shù)據(jù)進(jìn)行污染以及混淆處理，這樣就降低了信息泄露的幾率。這些加密措施與手段主要的原理，就是在加密手段無法保護(hù)個(gè)人信息的時(shí)候，通過冗雜的信息干擾有效的信息，這樣就會增加信息竊取的成本，進(jìn)而降低信息泄露的幾率[4]。

2.3 影響IT行業(yè)的生態(tài)環(huán)境以及產(chǎn)業(yè)鏈變革

在傳統(tǒng)的網(wǎng)絡(luò)公司運(yùn)營中其主要的模式就是在自己的服務(wù)器上對產(chǎn)品以及服務(wù)進(jìn)行管理，通過網(wǎng)絡(luò)連線的方式為用戶終端提供信息，其產(chǎn)生的數(shù)據(jù)信息屬于公司。而在大數(shù)據(jù)時(shí)代，服務(wù)公司會通過第三方平臺進(jìn)行業(yè)務(wù)信息的存儲，也就是說用戶提供數(shù)據(jù)，服務(wù)方處理信息數(shù)據(jù)而數(shù)據(jù)的存儲則在第三方。大數(shù)據(jù)對IT產(chǎn)業(yè)鏈的影響主要就是數(shù)據(jù)資源、應(yīng)用軟件以及基礎(chǔ)設(shè)施三個(gè)內(nèi)容。數(shù)據(jù)資源中，各個(gè)信息中心、通信運(yùn)營商等要對大數(shù)據(jù)技術(shù)進(jìn)行研發(fā)與應(yīng)用，充分的培育專業(yè)的人才，完成數(shù)據(jù)資源收集以及產(chǎn)業(yè)開發(fā)；而在軟件方面，隨著高性能云平臺的不斷成熟，云應(yīng)用軟件也會不斷的成熟，這樣就可以提升網(wǎng)絡(luò)應(yīng)用服務(wù)的質(zhì)量與效果。

3 結(jié)束語

科學(xué)技術(shù)手段在不斷的發(fā)展中，計(jì)算機(jī)網(wǎng)絡(luò)信息技術(shù)在人們的生活中越來越重要。隨著無線網(wǎng)絡(luò)以及智能手機(jī)、移動設(shè)備等無限網(wǎng)絡(luò)的不斷普及，人們逐漸進(jìn)入到了大數(shù)據(jù)時(shí)代，構(gòu)建完善的大數(shù)據(jù)應(yīng)用技術(shù)系統(tǒng)，完善大數(shù)據(jù)處理系統(tǒng)，才可以真正的實(shí)現(xiàn)網(wǎng)絡(luò)化以及信息化的發(fā)展趨勢，加強(qiáng)對大數(shù)據(jù)應(yīng)用技術(shù)體系以及潛在問題的分析，綜合實(shí)際狀況的有效應(yīng)對，才可以真正的推動其持續(xù)發(fā)展。

[1]靳琦. 大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題探討[J]. 電子技術(shù)與軟件工程, 2015.

[2]竇萬春, 江澄. 大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題[J]. 中興通訊技術(shù), 2013.

[3]胡輝, 陳伽, 胡松,等. 分析大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題[J]. 電子技術(shù)與軟件工程, 2016.

[4]何友，周偉. 海上信息感知大數(shù)據(jù)技術(shù)[J].指揮信息系統(tǒng)與技術(shù), 2018.