李國忠

摘要：大數(shù)據(jù)已經(jīng)滲透到商業(yè)、生活、通訊、金融等各個方面。由互聯(lián)網(wǎng)+衍生出的新型電子商務(wù)產(chǎn)業(yè)對于大數(shù)據(jù)的處理機(jī)制和算法有著極高的要求，對數(shù)據(jù)庫系統(tǒng)的高并發(fā)和承載提出了更高的要求。文章對互聯(lián)網(wǎng)+時代的大數(shù)據(jù)進(jìn)行了分析。

關(guān)鍵詞：大數(shù)據(jù)；電子商務(wù)；系統(tǒng)承載；高并發(fā)

1大數(shù)據(jù)概述

大數(shù)據(jù)，在IT行業(yè)的專業(yè)解釋是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。簡單地理解，即很難用工具實時統(tǒng)計或者計算的數(shù)據(jù)，特別是隨著信息技術(shù)的發(fā)展，尋常意義的數(shù)據(jù)量已經(jīng)不能完全記錄龐大的網(wǎng)絡(luò)行為。在這種條件下，大數(shù)據(jù)就應(yīng)運而生了。大數(shù)據(jù)甚至不能用G或者T來衡量，始計量起碼是P（1000個T），E（100萬個T）或者Z（100億個T），如此龐大的數(shù)據(jù)量不可能在短時間內(nèi)捕捉，而只能進(jìn)行有效的數(shù)據(jù)挖掘。

有了大數(shù)據(jù)的發(fā)展，才可能造就一個新的時代——大數(shù)據(jù)時代。最早提出這個概念的是全球知名咨詢公司麥肯錫。他提到：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今的每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量的數(shù)據(jù)挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！?/p>

2大數(shù)據(jù)的來源

其實準(zhǔn)確地說大數(shù)據(jù)一直都存在，只是在這個概念提出之前，人們沒有過多地關(guān)注它，才會覺得大數(shù)據(jù)是在突然之間出現(xiàn)的新事物。其實不然，以前人們關(guān)注的都是交易系統(tǒng)和業(yè)務(wù)系統(tǒng)產(chǎn)生的最終數(shù)據(jù)，因此呈現(xiàn)的數(shù)據(jù)比較少。而其中的各種流水操作，例如購買物品清單、上網(wǎng)瀏覽歷史、照片，同這些數(shù)據(jù)同樣存在，但是不關(guān)注，也沒有特意去存儲，因為那些數(shù)據(jù)既是繁雜的，也是大量的，在那時看來，也是無價值的。

而在大數(shù)據(jù)時代，更多的則是關(guān)注這些大量的看似并不重要的數(shù)據(jù)。當(dāng)然，這些數(shù)據(jù)來源是不同的，包括用戶、本地數(shù)據(jù)、社交數(shù)據(jù)、網(wǎng)站分析等，通過整合并且分析這些數(shù)據(jù)可以挖掘出用戶的消費習(xí)慣以及個人偏好，從而在一定意義上知曉用戶需要什么體驗，喜歡怎樣的產(chǎn)品。對這些大數(shù)據(jù)加以利用，相比以前能更容易地理解業(yè)務(wù)，也能更準(zhǔn)確地獲取用戶信息，從而創(chuàng)造出更大的價值。

迄今為止，大數(shù)據(jù)已經(jīng)滲透到商業(yè)、生活、通訊、金融等各個方面。由互聯(lián)網(wǎng)衍生出的新型產(chǎn)業(yè)，例如像新浪這樣的門戶網(wǎng)站，以及微信、qq這樣的社交軟件，都對大數(shù)據(jù)的處理機(jī)制和算法有著極高的要求。新浪的數(shù)據(jù)挖掘要實時地從數(shù)千萬條用戶關(guān)注的詞條中篩選出最熱門的詞條，每一秒產(chǎn)生的數(shù)據(jù)量便是數(shù)千萬，甚至更多。為了應(yīng)對這樣的難題，自然會研發(fā)出相應(yīng)的大數(shù)據(jù)核心搜索算法，而兩者是相輔相成的，大數(shù)據(jù)的產(chǎn)生促進(jìn)了大數(shù)據(jù)處理機(jī)制的完善，而愈加完善的處理機(jī)制使大數(shù)據(jù)創(chuàng)造出更多的價值。

當(dāng)然，與大數(shù)據(jù)緊密相關(guān)的還有2個詞：高并發(fā)和系統(tǒng)承載。高并發(fā)指的是使用多個線程或者多個進(jìn)程，同時處理不同的操作，像淘寶這樣的電商平臺，在雙十一的購物節(jié)同時訪問網(wǎng)站的活躍用戶可達(dá)數(shù)千萬，系統(tǒng)必須有應(yīng)對高并發(fā)量的處理能力，即系統(tǒng)承載能力要強(qiáng)，否則整個系統(tǒng)會因陷入紊亂而癱瘓。

3大數(shù)據(jù)的應(yīng)用領(lǐng)域

在未來的發(fā)展中，大數(shù)據(jù)的應(yīng)用領(lǐng)域又是什么。本文將從5個方面來闡述。

第一大領(lǐng)域是市場營銷。一個企業(yè)的發(fā)展前景與它在這個領(lǐng)域所占據(jù)的市場份額是密切相關(guān)的，因此市場營銷就顯得尤為重要。具體來說，通過大數(shù)據(jù)提升消費者與企業(yè)之間的關(guān)系，使得企業(yè)的產(chǎn)品能夠賣得更多，更快，更有效率。

過去的營銷方式主要是通過電話和電子郵件進(jìn)行推廣與營銷，但現(xiàn)在不同了，有網(wǎng)頁、社交媒體賬戶、博客、新浪微博等。正是因為渠道的多樣性，跟蹤客戶的腳步就變得更加困難，他們的每一次點擊、收藏、點贊、分享、加好友、轉(zhuǎn)發(fā)等行為都將納入企業(yè)的銷售漏斗中，如此龐大的數(shù)據(jù)量無疑是一個巨大的挑戰(zhàn)，但也是一個有潛力的挑戰(zhàn)，這就是一種全方面的客戶視角，能夠?qū)崿F(xiàn)個性化和精準(zhǔn)定位，將企業(yè)與客戶之間的接觸點變得更細(xì)。

第二大領(lǐng)域是公共服務(wù)。將大數(shù)據(jù)應(yīng)用于社會和政府，通過數(shù)據(jù)挖掘來預(yù)測疾病暴發(fā)，理解交通模型并改善教育。如今，就中國而言，隨著大量的農(nóng)村和郊區(qū)人口涌入城市，城市正面臨著預(yù)算超支、基礎(chǔ)設(shè)施難題這些緊迫的問題。而城市也將變?yōu)榇髷?shù)據(jù)計劃的絕佳實驗室，政府公共數(shù)據(jù)公開化以及市民生活的高度數(shù)字化（購物、交通、醫(yī)療等）等都是大數(shù)據(jù)分析的理想對象，也可以通過數(shù)據(jù)挖掘和調(diào)整政策來緩解公共問題。

第三大領(lǐng)域是人工智能。人工智能是對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考，也可能超過人的智能。這門技術(shù)目前還不成熟，卻也為未來之路奠定了方向。大數(shù)據(jù)的采集和分析將會為人工智能的發(fā)展提供可靠的數(shù)據(jù)。比如，人類思考的過程中腦部神經(jīng)細(xì)胞的相關(guān)活動，要完整地記錄這些活動，需要的數(shù)據(jù)是龐大的，大數(shù)據(jù)的分析就顯得至關(guān)重要。

第四大領(lǐng)域是機(jī)器和設(shè)備性能優(yōu)化。大數(shù)據(jù)分析還可以讓機(jī)器和設(shè)備在應(yīng)用上更加智能化和自主化?，F(xiàn)在涌出的智能手機(jī)便是如此，智能手機(jī)的發(fā)展，由當(dāng)初諾基亞的塞班系統(tǒng)，到谷歌公司的安卓系統(tǒng)再到后來蘋果公司的lOS系統(tǒng)，無不體現(xiàn)大數(shù)據(jù)的重要性，只有通過大數(shù)據(jù)的分析來掌握手機(jī)用戶的全方面的需求，從而更深一步開發(fā)和優(yōu)化手機(jī)系統(tǒng)，才能贏得更多的市場，而當(dāng)年風(fēng)靡全球的塞班系統(tǒng)正是由于過于守舊，沒有借助大數(shù)據(jù)的浪潮，才會逐漸被取代。

不僅在手機(jī)系統(tǒng)方面，大數(shù)據(jù)工具還曾經(jīng)被谷歌公司利用于研發(fā)谷歌自駕汽車。豐田的普瑞就配有相機(jī)、GPS以及傳感器，在交通上能夠安全駕駛，不需要人類的干預(yù)。

第五大領(lǐng)域是安全改善。大數(shù)據(jù)現(xiàn)在已經(jīng)廣泛應(yīng)用到安全防衛(wèi)中，隨著科技的發(fā)展，不法分子的作案技巧也越來越高，而攝像設(shè)備的利用則讓他們無法順利地逃脫，收集、存儲視頻數(shù)據(jù)，一旦有需要，警察應(yīng)用大數(shù)據(jù)工具，通過數(shù)據(jù)分析就能為破案提供重要的線索。比如，美國安全局利用大數(shù)據(jù)打擊恐怖主義，甚至監(jiān)控人們的日常生活，企業(yè)則應(yīng)用大數(shù)據(jù)技術(shù)防御網(wǎng)絡(luò)攻擊。信用卡公司應(yīng)用大數(shù)據(jù)工具防止欺詐性交易，信用卡公司可以收集用戶的消費信息，從而推斷其消費能力，進(jìn)行風(fēng)險評估，最大程度地防止詐騙借貸。

4大數(shù)據(jù)的風(fēng)險

一種事物的產(chǎn)生，往往都有兩面性，大數(shù)據(jù)存在優(yōu)勢，為時代帶來新的發(fā)展，但其存在的風(fēng)險也依舊不容忽視。

維克托·邁爾·舍恩伯格在其著作《大數(shù)據(jù)時代》中提到：“數(shù)據(jù)量的大幅增加會造成結(jié)果的準(zhǔn)確，一些錯誤的數(shù)據(jù)會混進(jìn)數(shù)據(jù)庫，而來源不同的各種信息混雜在一起會增大數(shù)據(jù)的混亂性?！?/p>

還有統(tǒng)計學(xué)者和計算機(jī)科學(xué)家指出，巨量數(shù)據(jù)集和細(xì)顆粒度的測量會增加“錯誤發(fā)現(xiàn)”的風(fēng)險。斯坦福大學(xué)的統(tǒng)計學(xué)教授特Trevor Hastie說“在大規(guī)模的數(shù)據(jù)干草堆中尋找一根有意義的針，其麻煩在于‘許多稻草看起來也像針”。這句話的意思很明顯，當(dāng)數(shù)據(jù)量太多的時候，要從其中尋找需要的數(shù)據(jù)，無疑是大海撈針，給數(shù)據(jù)的準(zhǔn)確分析和統(tǒng)計增加了難度，也為惡搞統(tǒng)計和帶偏見的實情調(diào)查研究提供了更多的原材料，從中推導(dǎo)出的結(jié)論也會變得更加的多樣性，會對人們造成更多的誤導(dǎo)。

在利用計算機(jī)及數(shù)學(xué)模型的情況下，我們已經(jīng)馴服和理解了數(shù)據(jù)。這些模型，正如文學(xué)之隱喻，是一種解釋的簡化。它們對于理解是很有用的，不過也存在局限性，沒有一個數(shù)學(xué)模型能確保它永遠(yuǎn)是正確的，而在進(jìn)行大數(shù)據(jù)分析的時候，也極有可能得出不正確的結(jié)論。

不僅如此，大數(shù)據(jù)的風(fēng)險還在于它太注重細(xì)節(jié)，將信息無限細(xì)化，這樣的后果是將不該暴露的隱私全部暴露出來，甚至?xí)挥胁涣计髨D的人加以利用，從而達(dá)到他們的目的。

例如現(xiàn)在的軟件系統(tǒng)中都存在著位置定位的權(quán)限，別人甚至可以通過手機(jī)獲取你的位置，正是因為大數(shù)據(jù)的存在，自己的蹤跡都仿佛時時刻刻被他人掌握，自己的個人信息同樣能夠被別人知曉。

蘋果公司的云存儲系統(tǒng)曾經(jīng)發(fā)生過泄露事件，部分用戶手機(jī)中的私人照片流失，甚至被公布到網(wǎng)絡(luò)上，這一行為已經(jīng)對用戶造成了巨大的傷害，但是究其根底，不得不承認(rèn)，是大數(shù)據(jù)導(dǎo)致了這一事件的發(fā)生。

大數(shù)據(jù)將用戶所有的信息加以細(xì)化，但隨著產(chǎn)生、存儲、分析的數(shù)據(jù)量越來越大，用戶的隱私問題在未來的幾年也將愈加凸顯，這些大數(shù)據(jù)存在著安全隱患，這種風(fēng)險是大家都不愿意發(fā)生在自己身上的，所以新的數(shù)據(jù)保護(hù)要求以及立法機(jī)構(gòu)和監(jiān)管部門的完善應(yīng)當(dāng)提上日程。

5結(jié)語

總的來說，大數(shù)據(jù)無疑已成為避不開的一個因素，也為企業(yè)發(fā)展的帶來了契機(jī)，只有從實時更新的大數(shù)據(jù)中獲取有效的商業(yè)信息，恰當(dāng)?shù)靥魬?zhàn)發(fā)展戰(zhàn)略，才能讓企業(yè)獲得更長遠(yuǎn)的發(fā)展。大數(shù)據(jù)時代的到來已是大勢所趨，也同樣會對那些守舊的實體企業(yè)帶來沖擊，快速崛起的電商占據(jù)了越來越多的市場，新的經(jīng)營模式煥發(fā)出璀璨的光彩。