盧昌海

大數據的陷阱

盧昌海

這幾年，大數據 （bigdata）的“出鏡率”頗高。連帶著，“數據科學家”（datascientist）成為了新的高薪一族。人氣、財氣的提升也帶動了士氣，有人開始高估大數據的神通，仿佛只要積累了足夠多的數據，請“數據科學家”們坐在電腦前——就像福爾摩斯坐在太師椅上——敲一通鍵盤，各種問題就都能迎刃而解了。

大數據真有如此神通嗎？回顧一段小歷史對我們也許不無啟示。

那是在1936年，美國共和黨人艾爾弗·蘭登（AlfredLandon）與民主黨人富蘭克林·羅斯福（Franklin D.Roosevelt）競選總統(tǒng)。當時很有影響力的《文摘》雜志（TheLiterary Digest）決定搞一次超大規(guī)模的民意調查，調查人數高達1,000萬，約為當時選民總數的1/4，最終收到的回復約有240萬份，對于民意調查來說可謂是“大數據”——事實上，哪怕在今天，一些全國性民意調查的調查對象也只有幾千。通過對這組“大數據”的分析，《文摘》雜志預測蘭登將以55%比41%的顯著優(yōu)勢獲勝。但不久后揭曉的真正結果卻是羅斯福以61%比37%的優(yōu)勢大勝。《文摘》雜志的“大數據”遭到了慘敗。

當然，那是陳年舊事了。240萬份回復作為民意調查是超大規(guī)模的，從數據角度講，以今天的標準來衡量卻實在小得可憐。不過，今天的“大”在幾十年后也未必不會如昔日的“小”一樣可憐。那段小歷史的真正啟示在于：數據已大到了統(tǒng)計誤差可以忽略的地步，結果卻錯得離譜。這種類型的錯誤對于大數據是一種警示。

現在讓我們回到當代。2008年8月，大數據“成功偶像”之一的谷歌（Google）公司領銜在《自然》（Nature）雜志上發(fā)表論文，推介了一個如今被稱為 “谷歌流感趨勢”（GoogleFlu Trends）的系統(tǒng)。這一系統(tǒng)能利用互聯網上有關流感的搜索的數量和分布來估計各地區(qū)流感類疾病的患者數目。谷歌表示，這一系統(tǒng)給出的估計不僅比美國疾病控制與預防中心（CentersforDiseaseControlandPrevention——簡稱CDC）的數據更快速，而且還有“不依賴于理論”（theory-free）的特點。

但是，這個一度引起轟動的系統(tǒng)經過幾年的運行后，卻引人注目地演示了大數據可能帶來的陷阱。

2013年2月，《自然》雜志資深記者巴特勒（DeclanButler）發(fā)表了一篇題為“當谷歌弄錯了流感”（When Googlegotfluwrong）的文章，指出“谷歌流感趨勢”對2012年底美國流感類疾病患者數目的估計比美國疾病控制與預防中心給出的數據高了約一倍。不僅如此，“谷歌流感趨勢”在2008-2009年間對瑞士、德國、比利時等國的流感類疾病患者

數目的估計也都失過準。

大數據在這些例子中為什么會失敗呢？人們很快找到了原因。比如《文摘》雜志對1936年美國總統(tǒng)競選預測的失敗，是因為該雜志的調查對象是從汽車注冊資料及電話簿中選取的，而汽車及電話在當時的美國尚未普及，使得由此選出的調查對象缺乏代表性。而谷歌對2012年底美國流感類疾病患者數目的估計失敗，則是因為媒體對那段時間的美國流感類疾病作了渲染，使得很多非患者也進行了有關流感的搜索，從而干擾了“谷歌流感趨勢”的估計。在統(tǒng)計學中，這被稱為系統(tǒng)誤差（systematicerror），只要存在這種誤差，數據量再大也無濟于事。

當然，原因一旦找到，對結果進行修正也就不無可能了。比如在有關流感的搜索中，來自患者的搜索往往隨疫情的爆發(fā)而迅速增加，隨疫情的緩慢結束而緩慢降低，呈現出前后的不對稱，而媒體渲染引來的非患者的搜索則前后比較對稱。利用這一區(qū)別，原則上可對結果進行校正。

但另一方面，原因之所以很快找到，是因為失敗已成事實，從而有了明確的分析對象，在千變萬化的大數據分析中要想每次都“先發(fā)制人”地避免失敗卻是極其困難的。比如大數據分析對數據間的相關性情有獨鐘，其所津津樂道的“不依賴于理論”的特點卻在很大程度上排斥了對相關性的價值進行甄別——就如知名技術類刊物《連線》（Wired）雜志的主編安德森（ChrisAnderson）曾經宣稱的：“只要有足夠多數據，數字自己就能說話”（withenoughdata,thenumbers speakforthemselves）。數字也許是能說話，但說出的未必都是有價值的話。事實上，未經甄別的相關性可謂處處是陷阱。比如2006-2011年間，美國的犯罪率和微軟IE瀏覽器的市場占有率就明顯相關 （同步下降），但卻是毫無價值的相關性——這是紐約大學（NewYorkUniversity）計算機教授戴維斯（ErnestDavis）舉出的例子。在統(tǒng)計學中，這是所謂“相關性不蘊含因果性”（correlationdoes notimplycausation）的一個例子。

無論是系統(tǒng)誤差還是“相關性不蘊含因果性”，大數據的這些陷阱其實都是統(tǒng)計學家們熟知的。只不過，太急于趕路時，人們有時會忘掉曾經走過的路。

（摘編自盧昌海個人主頁）