張立峰

“大數(shù)據(jù)”作為時下最火熱的IT（information（technology）行業(yè)的詞匯在互聯(lián)網(wǎng)時代顯得越來越重要。隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)商業(yè)價值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點。

大數(shù)據(jù)到底有多大

大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP，Massively，Paralblle Processing）數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計算平臺，互聯(lián)網(wǎng)，和可擴展的存儲系統(tǒng)。

“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?？梢哉f，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)必須借由計算機對數(shù)據(jù)進行統(tǒng)計、比對、解析方能得出客觀結(jié)果。

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！彪S著云時代的來臨，大數(shù)據(jù)（BIGdata）也吸引了越來越多的關(guān)注。

大數(shù)據(jù)具有規(guī)模大、價值高、交叉復用、全息可見四大特征。特別是，最后兩個特征體現(xiàn)了大數(shù)據(jù)不僅僅有“規(guī)模更大的數(shù)據(jù)”這種量上的進步，還具有不同于以前數(shù)據(jù)組織和應(yīng)用形式的質(zhì)的飛躍。大數(shù)據(jù)是信息通信技術(shù)發(fā)展積累至今，按照自身技術(shù)發(fā)展邏輯，從提高生產(chǎn)效率向更高級智能階段的自然生長。

大數(shù)據(jù)能做些什么

大數(shù)據(jù)的應(yīng)用示例包括了大科學、RFID（Radio Frequency ID entification）、傳感設(shè)備網(wǎng)絡(luò)、天文學、大氣學、基因組學、生物學、大社會數(shù)據(jù)分析、互聯(lián)網(wǎng)文件處理、制作互聯(lián)網(wǎng)搜索引擎索引、通信記錄明細、軍事偵察、社交網(wǎng)絡(luò)、通勤時間預測、醫(yī)療記錄、照片圖像和圖像封存、大規(guī)模的電子商務(wù)等。

僅僅十余年，很多企業(yè)爬過M B（megabyte）時代，走過G B（gigabyte）時代，現(xiàn)在正被趕著跑過TB（terabyte）時代，去迎接PB（petabyte）時代。事實上，如中國移動、聯(lián)通、電信這樣的移動通信運營商，如谷歌、百度、新浪、騰迅這樣的大型互聯(lián)網(wǎng)公司，如國家電網(wǎng)、交通運輸部這樣的職能部門，每天數(shù)據(jù)的更新量已經(jīng)接近或達到了PB量級。

現(xiàn)在越來越多的政府、企業(yè)等組織機構(gòu)意識到數(shù)據(jù)正在成為組織最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競爭力。

大數(shù)據(jù)不僅是一種海量的數(shù)據(jù)狀態(tài)及其相應(yīng)的數(shù)據(jù)處理技術(shù)，更是一種思維方式，一項重要的基礎(chǔ)設(shè)施。這或是明天我們治理交通擁堵、霧霾天氣、看病難、食品安全等“城市病”的利器，也會為政府打開了解社情民意的更大窗口。

眾所周知，大數(shù)據(jù)已經(jīng)不簡簡單單是數(shù)據(jù)大的事實了，而最重要的現(xiàn)實是對大數(shù)據(jù)進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那么越來越多的應(yīng)用涉及大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。

云計算和大數(shù)據(jù)

人說云計算和大數(shù)據(jù)是雙胞胎，兩個是不同的個體，互相依賴又相輔相成，也有人說大數(shù)據(jù)是來攪局的。

從技術(shù)層面上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)無法用單臺的計算機進行處理，必須采用分布式計算架構(gòu)。它的特點在于對海量數(shù)據(jù)的挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。

云計算與大數(shù)據(jù)的不同之處在于應(yīng)用的不同，主要在兩個方面：

第一，在概念上兩者有所不同，云計算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運營。

第二，大數(shù)據(jù)和云計算的目標受眾不同，云計算是賣給CIO（chief inform ation officer）的技術(shù)和產(chǎn)品，是一個進階的IT解決方案。而大數(shù)據(jù)是賣給CEO（chief financeofficer）、賣給業(yè)務(wù)層的產(chǎn)品，大數(shù)據(jù)的決策者是業(yè)務(wù)層。由于他們能直接感受到來自市場競爭的壓力，必須在業(yè)務(wù)上以更有競爭力的方式戰(zhàn)勝對手。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。

對大數(shù)據(jù)的常見誤解

一、數(shù)據(jù)不等于信息

經(jīng)常有人把數(shù)據(jù)和信息作為同義詞，但并非如此。數(shù)據(jù)指的是一個原始的數(shù)據(jù)點（無論是通過數(shù)字，文字，圖片還是視頻等），信息則直接與內(nèi)容掛鉤，需要有資訊性。數(shù)據(jù)越多，不一定就能代表信息越多。例如：

備份。很多人如今已經(jīng)會定期的對自己的硬盤進行備份。這個沒什么好解釋的，每次備份都會創(chuàng)造出一組新的數(shù)據(jù)，但信息量并沒有增多。

二、信息不等于智慧

現(xiàn)在我們?nèi)コ藬?shù)據(jù)中的所有重復部分，也整合了類似內(nèi)容的數(shù)據(jù)，剩下的全是信息了，這對我們就一定有用嗎？不一定，信息要能轉(zhuǎn)化成智慧。

云存儲是存儲器嗎

云存儲是在云計算（c bud com puting）概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。

云存儲不是存儲，而是服務(wù)。就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣，云存儲對使用者來講，不是指某一個具體的設(shè)備，而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲，并不是使用某一個存儲設(shè)備，而是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。所以嚴格來講，云存儲不是存儲，而是一種服務(wù)。

云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合，通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。

云存儲的概念與云計算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的—個系統(tǒng)。

云存儲是通過網(wǎng)絡(luò)提供可配置的虛擬化的存儲及相關(guān)數(shù)據(jù)的服務(wù)。云存儲的內(nèi)涵是存儲虛擬化和存儲自動化。

云存儲這項服務(wù)乃通過w eb服務(wù)應(yīng)用程序接口（Aplapp lication program ming intetrace），或是通過Web化的用戶界面來訪問。

云存儲安全嗎

“云”這個概念被提出之后，安全性就是人們首先關(guān)注的要點。對于絕大多數(shù)的用戶來說，他們并不希望自己的云存儲變成公共資源平臺，更不希望自己的隱私成為大眾新聞，所以云存儲的供應(yīng)商也一直在不遺余力地宣傳著自己的產(chǎn)品安全性。

云計算，特別是云存儲，已經(jīng)有些年月了。我們目睹了Nirvanix公司的消亡，斯諾登揭露美國國家安全局的棱鏡項目，以及美國主要電信服務(wù)運營商涉嫌勾結(jié)。由于棱鏡計劃的曝光，我們將看到更多非美國企業(yè)會停止將其數(shù)據(jù)托管在美國。安全已經(jīng)成為處理數(shù)據(jù)的企業(yè)的頭號關(guān)注問題。

對于云存儲產(chǎn)品而言，除了安全和方便，容量也是決定其發(fā)展前景的重要元素。

在線資源的即時分享與互動已成為我們?nèi)粘Ｉ畋夭豢缮俚囊徊糠?，云存儲產(chǎn)品的出現(xiàn)，能夠?qū)崿F(xiàn)手機、平板電腦、臺式電腦等智能終端設(shè)備的多屏合一、數(shù)據(jù)共享，極大方便了消費者的生活。越來越多的服務(wù)商向個人、各種企業(yè)用戶推出了包括存儲在內(nèi)的云計算服務(wù)。D C（internetdata center）更是將新興的云存儲行業(yè)比作是“圈地運動”，并且將其視作早期競爭對手搶占SaaS（softw are as a service）和云存儲市場高地的機會。網(wǎng)盤作為云存儲的一種應(yīng)用模式，更是成為當下百度、金山、騰訊、360、阿里等互聯(lián)網(wǎng)大佬們的“必爭之地”。

不過，有云也意味著有“雨”。云存儲并不總像看起來那樣“美”——將數(shù)據(jù)遷移至云中致使用戶在數(shù)據(jù)安全性和可用性方面高度受制于其云存儲服務(wù)器供應(yīng)商，可以說，對安全性和可用性的擔憂是企業(yè)和個人走向云存儲模式的重要影響因素。

隨著云存儲技術(shù)的日益成熟，云存儲逐漸開始應(yīng)用在智慧城市建設(shè)方面，未來必將給各行各業(yè)帶來更多的服務(wù)。

云存儲已經(jīng)成為未來存儲發(fā)展的一種趨勢。但隨著云存儲技術(shù)的發(fā)展，各類搜索、應(yīng)用技術(shù)和云存儲相結(jié)合的應(yīng)用，還需從安全性、便攜性及數(shù)據(jù)訪問等角度進行改進。

TIPS 名詞解釋

云計算

云計算（cloud cornputing）是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化的資源。

《大數(shù)據(jù)時代》

《大數(shù)據(jù)時代》是國外大數(shù)據(jù)研究的先河之作，本書作者維克托·邁爾·舍恩伯格被譽為“大數(shù)據(jù)商業(yè)應(yīng)用第一人”，擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯(lián)網(wǎng)研究重鎮(zhèn)任教的經(jīng)歷，早在2010年就在《經(jīng)濟學人》上發(fā)表了長達14頁對大數(shù)據(jù)應(yīng)用的前瞻性研究成果。

安全性

IDC的報告顯示，在未來四年內(nèi)，全球云服務(wù)市場規(guī)模將增長到442億美元，其中云存儲的市場比例將從目前的9%增長到14%，其規(guī)模將接近62億美元，存儲市場是增長最快的云計算服務(wù)，這也正是各路廠商鐘情網(wǎng)盤服務(wù)的一個重要原因。