米林

什么是大數(shù)據(jù)

大數(shù)據(jù)（Big Data），也叫巨量資料。由于它所涉及的資料量規(guī)模巨大，因此無(wú)法通過(guò)目前的主流軟件工具，在合理時(shí)間內(nèi)進(jìn)行擷取、管理和處理，并整理成更加有助于企業(yè)經(jīng)營(yíng)決策的資訊。“大數(shù)據(jù)”是業(yè)內(nèi)的熱門詞匯，描述了企業(yè)大量積累、存儲(chǔ)和挖掘大文件（400GB到TB級(jí)）的現(xiàn)象。隨著信息質(zhì)量、種類和豐富性達(dá)到新的水平，“大數(shù)據(jù)”的發(fā)展日臻成熟。

大數(shù)據(jù)的特點(diǎn)

對(duì)于大數(shù)據(jù)，現(xiàn)在比較流行的是用4個(gè)“V”來(lái)總結(jié)其4個(gè)層面的含義：容量巨大（Volume），數(shù)據(jù)已從TB級(jí)別躍升至PB級(jí)別；數(shù)據(jù)類型多（Variety），從普通的文字、視頻、圖片到逐漸增多的地理位置信息等，類型紛繁，已無(wú)規(guī)律可循；價(jià)值密度低（Value），以視頻為例，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)也許只有一兩秒；處理速度快（Velocity），實(shí)時(shí)分析對(duì)某些應(yīng)用才更有意義，而不是批量式分析，即時(shí)處理已經(jīng)成為一種趨勢(shì)。

大數(shù)據(jù)管理技術(shù)

人們對(duì)大數(shù)據(jù)的關(guān)注度在不斷升溫，而大數(shù)據(jù)管理的技術(shù)也層出不窮。在眾多技術(shù)中，有6種數(shù)據(jù)管理技術(shù)普遍被關(guān)注，即分布式存儲(chǔ)與計(jì)算、內(nèi)存數(shù)據(jù)庫(kù)技術(shù)、列式數(shù)據(jù)庫(kù)技術(shù)、云數(shù)據(jù)庫(kù)、NoSQL、移動(dòng)數(shù)據(jù)庫(kù)技術(shù)。其中分布式存儲(chǔ)與計(jì)算受關(guān)注度最高。分布式存儲(chǔ)與計(jì)算架構(gòu)可以讓大量數(shù)據(jù)以一種可靠、高效、可伸縮的方式進(jìn)行處理。因?yàn)橐圆⑿械姆绞焦ぷ?，所以?shù)據(jù)處理速度相對(duì)較快且成本較低，Hadoop和NoSQL都屬于分布式存儲(chǔ)技術(shù)的范疇。

內(nèi)存數(shù)據(jù)庫(kù)技術(shù)可以作為單獨(dú)的數(shù)據(jù)庫(kù)使用，還能為應(yīng)用程序提供即時(shí)的響應(yīng)和高吞吐量，SAP的HANA是該技術(shù)的典型代表。

列式數(shù)據(jù)庫(kù)的特點(diǎn)是可以更好地應(yīng)對(duì)海量關(guān)系數(shù)據(jù)中列的查詢，占用更少的存儲(chǔ)空間，這也是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的理想架構(gòu)之一。

云數(shù)據(jù)庫(kù)可以不受任何部署環(huán)境的優(yōu)勢(shì)，隨意進(jìn)行拓展，進(jìn)而為客戶提供適宜其需求的虛擬容量，并實(shí)現(xiàn)自助式資源調(diào)配和自助式使用計(jì)量。目前微軟的SQL Server可以提供類似的服務(wù)。

甲骨文在2011年推出了Oracle NoSQL數(shù)據(jù)庫(kù)。NoSQL數(shù)據(jù)庫(kù)適合于龐大的數(shù)據(jù)量、極端的查詢量和模式演化。企業(yè)可以通過(guò)NoSQL得到高可擴(kuò)展性、高可用性、低成本、可預(yù)見(jiàn)的彈性和架構(gòu)靈活性的優(yōu)勢(shì)。

移動(dòng)數(shù)據(jù)庫(kù)技術(shù)是移動(dòng)計(jì)算的產(chǎn)物。隨著智能移動(dòng)終端的普及，人們對(duì)移動(dòng)數(shù)據(jù)實(shí)時(shí)處理和管理要求的不斷提高，移動(dòng)數(shù)據(jù)庫(kù)具有平臺(tái)的移動(dòng)性、頻繁斷接性、網(wǎng)絡(luò)條件的多樣性、網(wǎng)絡(luò)通訊的非對(duì)稱性、系統(tǒng)的高伸縮性和低可靠性以及電源能力的有限性等。

大數(shù)據(jù)的應(yīng)用實(shí)例

實(shí)例1：《紙牌屋》

《紙牌屋》是全球最大的流媒體運(yùn)營(yíng)商N(yùn)etflix首次自行制作，并且完全依靠網(wǎng)絡(luò)發(fā)行的電視劇，它的熱播使Netflix訂戶數(shù)超越了傳統(tǒng)的HBO電視網(wǎng)。

《紙牌屋》的走紅是必然的，它是大數(shù)據(jù)分析在具體行業(yè)成功應(yīng)用的經(jīng)典案例。美國(guó)新聞網(wǎng)站Salon.com曾這樣描述：用戶只要登錄Netflix，其每一次點(diǎn)擊、播放、暫停甚至看了幾分鐘就關(guān)閉視頻，都會(huì)被作為數(shù)據(jù)進(jìn)入后臺(tái)分析。這樣一來(lái)，Netflix就能精確定位觀眾的偏好，比如“最愛(ài)Kevin Spacey”，或者“最愛(ài)政治劇”。Netflix在拍攝前事先分析了訂閱用戶們的觀影數(shù)據(jù)和操作習(xí)慣，保證其首部原創(chuàng)劇集可以精確命中最大量的潛在觀眾。Netflix在決定投資翻拍《紙牌屋》前做了兩件與大數(shù)據(jù)分析緊密相關(guān)的事：挑選演員、決定播放形式。

追蹤和分析訂閱用戶數(shù)據(jù)并不簡(jiǎn)單，基于基礎(chǔ)數(shù)據(jù)派生的擴(kuò)展數(shù)據(jù)量非常大。這一過(guò)程不僅僅要分析觀眾喜歡看哪些主題的電影和偏好，還要統(tǒng)計(jì)觀眾如何觀看電影和觀影過(guò)程、觀影過(guò)程中暫停的次數(shù)、會(huì)在看到幾分鐘的時(shí)候關(guān)閉視頻等等，這些操作都會(huì)被作為數(shù)據(jù)進(jìn)入后臺(tái)分析。過(guò)去，Netflix只是用這些數(shù)據(jù)來(lái)做影片推薦。如今，Netflix會(huì)投其所好，根據(jù)這些內(nèi)容拍攝用戶感興趣的電影。

通過(guò)數(shù)據(jù)分析，Netflix發(fā)現(xiàn)喜歡觀看1990版《紙牌屋》的影迷們同時(shí)喜歡看導(dǎo)演David Fincher的作品。另外，他們會(huì)經(jīng)常觀看奧斯卡影帝Kevin Spacey的作品。因此，新版《紙牌屋》邀請(qǐng)了David Fincher（制作人）和Kevin Spacey（男主演）加盟，這完全是基于影迷數(shù)據(jù)分析得出的結(jié)論。

實(shí)例2：從4天到1個(gè)小時(shí)——大型在線撲克公司的反欺詐術(shù)

歐洲的一家大型在線撲克公司的員工在愛(ài)爾蘭，而機(jī)房卻建在加拿大。在這家公司的網(wǎng)站上有虛擬牌桌，6—10個(gè)人一桌在線玩德州撲克。該公司會(huì)從贏者那里提成0.5%，在線玩游戲的人越多、玩得次數(shù)越多，該公司的盈利就更有保障。

除了吸引更多人來(lái)玩在線撲克，公司更重要的是做好反欺詐工作。玩這種在線撲克時(shí)的欺詐行為一般有三種類型：第一，不同玩家線下串謀，線上打配合以增加玩家自己獲勝概率；第二，洗錢，通過(guò)信用卡故意將錢輸給下家；第三，外掛，研究算法比較好的人會(huì)自己寫程序然后掛到網(wǎng)站上，可以同時(shí)玩100桌獲得盈利。

該公司需要將這些欺詐行為全部找出來(lái)，識(shí)別不同模式。例如，他們通過(guò)分析玩家每一輪下了多少注、不同玩家之間下注的時(shí)間間隔以及非常規(guī)打法的記錄等大量數(shù)據(jù)，就可以判斷這些玩家背后是真人在玩還是機(jī)器外掛在玩、是否有線下串謀等欺詐行為。

為了識(shí)別欺詐，該公司請(qǐng)來(lái)了三位畢業(yè)于加拿大某學(xué)校的撲克牌專業(yè)的博士，通過(guò)算法識(shí)別欺詐行為，并開(kāi)發(fā)反欺詐程序。過(guò)去，他們是將這些記錄的結(jié)構(gòu)化數(shù)據(jù)壓縮成一個(gè)文檔放到數(shù)據(jù)庫(kù)里，需要分析時(shí)將文檔調(diào)出，用他們花費(fèi)一年半時(shí)間開(kāi)發(fā)的Java軟件運(yùn)行分析，需要4天結(jié)果才能出來(lái)，也就是如果星期一有人做了欺詐行為，到星期五才能發(fā)現(xiàn)。而現(xiàn)在，該公司用兩天時(shí)間將算法移植到TeradataAster平臺(tái)之上，通過(guò)一個(gè)開(kāi)源的解壓代碼把壓縮的資料在庫(kù)內(nèi)做解壓，然后在數(shù)據(jù)庫(kù)系統(tǒng)內(nèi)運(yùn)行欺詐分析。這種做法的好處是大批量的數(shù)據(jù)不用傳來(lái)傳去，再加上算法優(yōu)化之后，原本需要4天的欺詐行為分析只要60分鐘就可以完成了。

大數(shù)據(jù)的未來(lái)發(fā)展前景

一、推動(dòng)信息產(chǎn)業(yè)創(chuàng)新

據(jù)國(guó)際數(shù)據(jù)公司的監(jiān)測(cè)統(tǒng)計(jì)，2011年全球數(shù)據(jù)總量已經(jīng)達(dá)到1.8ZB（1ZB等于1萬(wàn)億GB，1.8ZB相當(dāng)于18億個(gè)1TB移動(dòng)硬盤的存儲(chǔ)量），而這個(gè)數(shù)值還在以每?jī)赡攴环乃俣仍鲩L(zhǎng)。預(yù)計(jì)到2020年，全球?qū)碛?5ZB的數(shù)據(jù)量。

隨著面向大數(shù)據(jù)市場(chǎng)的新產(chǎn)品、新技術(shù)、新服務(wù)、新業(yè)態(tài)的不斷涌現(xiàn)，大數(shù)據(jù)將加速信息技術(shù)產(chǎn)品的創(chuàng)新融合發(fā)展。對(duì)數(shù)據(jù)快速處理和分析的需求，將推動(dòng)商業(yè)智能、數(shù)據(jù)挖掘等軟件在企業(yè)級(jí)的信息系統(tǒng)中得到融合應(yīng)用，成為業(yè)務(wù)創(chuàng)新的重要手段。同時(shí)，物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的迅速發(fā)展，使數(shù)據(jù)產(chǎn)生速度加快、規(guī)模加大，迫切需要運(yùn)用大數(shù)據(jù)手段進(jìn)行分析處理，提取有效信息。大數(shù)據(jù)面臨的有效存儲(chǔ)、實(shí)時(shí)分析等挑戰(zhàn)，將對(duì)芯片、存儲(chǔ)產(chǎn)業(yè)產(chǎn)生重要影響，推動(dòng)一體化數(shù)據(jù)存儲(chǔ)處理服務(wù)器、內(nèi)存計(jì)算等產(chǎn)品的升級(jí)創(chuàng)新。大數(shù)據(jù)應(yīng)用也使基于云計(jì)算的業(yè)務(wù)創(chuàng)新和服務(wù)創(chuàng)新成為現(xiàn)實(shí)。

二、推動(dòng)社會(huì)發(fā)展

大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到每個(gè)行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營(yíng)活動(dòng)，還有利于推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展。麥肯錫研究表明，在醫(yī)療、零售和制造業(yè)中，大數(shù)據(jù)可以每年提高勞動(dòng)生產(chǎn)率0.5-1個(gè)百分點(diǎn)。

宏觀層面，大數(shù)據(jù)使經(jīng)濟(jì)決策部門可以更敏銳地把握經(jīng)濟(jì)走向，制定并實(shí)施科學(xué)的經(jīng)濟(jì)政策。微觀方面，大數(shù)據(jù)可以提高企業(yè)經(jīng)營(yíng)決策水平和效率，給企業(yè)、行業(yè)領(lǐng)域帶來(lái)價(jià)值。

大數(shù)據(jù)技術(shù)作為一種重要的信息技術(shù)，能夠提高安全保障能力、應(yīng)急能力、優(yōu)化公共事業(yè)服務(wù)，提高社會(huì)管理水平；能夠?qū)Χ喾N渠道的信息快速進(jìn)行自動(dòng)分類、整理、分析和反饋，彌補(bǔ)情報(bào)、監(jiān)視和偵察系統(tǒng)的不足，提高國(guó)家安全保障能力。