文/春秋

創(chuàng)建“可觀”的大數(shù)據(jù)

文/春秋

關(guān)于小爬蟲(chóng)的努力奮斗史，人們關(guān)注興致缺了些，一個(gè)數(shù)據(jù)與一堆數(shù)據(jù)在非專(zhuān)業(yè)人士眼里，實(shí)在差別不大。另外，這一個(gè)小爬蟲(chóng)軟件與另一眾小爬蟲(chóng)，它們?cè)诨ヂ?lián)網(wǎng)世界抓取千變信息的功能上，分不出顯然的高下與優(yōu)劣。所以，要成全某些東西的獨(dú)一無(wú)二，視角應(yīng)當(dāng)要變化下，比如抓取之后拿茫茫數(shù)據(jù)怎么辦？

在這些冗雜的語(yǔ)言、數(shù)字或字符串中理出一條人類(lèi)新媒體傳播的頭緒。禹衛(wèi)華的答案大致如此。他是上海交通大學(xué)媒體與設(shè)計(jì)學(xué)院院長(zhǎng)助理，也是大數(shù)據(jù)與傳播創(chuàng)新實(shí)驗(yàn)室的主任。

實(shí)驗(yàn)室背景

上海交通大學(xué)大數(shù)據(jù)與傳播創(chuàng)新實(shí)驗(yàn)室又稱T-Lab，即“透明（Transparence）實(shí)驗(yàn)室”，一方面因?yàn)閷?shí)驗(yàn)室從房間到辦公桌都是鋼結(jié)構(gòu)與玻璃，一切一覽無(wú)余，另一方面也表達(dá)在大數(shù)據(jù)時(shí)代幾乎都是透明的理念。實(shí)驗(yàn)室是一個(gè)開(kāi)放平臺(tái)，不但對(duì)接校內(nèi)，同時(shí)對(duì)接校外的各類(lèi)需求，致力于通過(guò)平臺(tái)建設(shè)推動(dòng)新聞傳播學(xué)科的轉(zhuǎn)型與升級(jí)，通過(guò)短期培訓(xùn)與日常教學(xué)工作共同實(shí)現(xiàn)新聞傳播業(yè)務(wù)的不斷創(chuàng)新，實(shí)驗(yàn)室也形成社交媒體挖掘數(shù)據(jù)庫(kù)并定期發(fā)布研究報(bào)告。

在信息的最終端

外界把“對(duì)互聯(lián)網(wǎng)BBS論壇、博客、微博、轉(zhuǎn)帖、新聞跟帖等內(nèi)容進(jìn)行實(shí)時(shí)采集和監(jiān)測(cè)”的軟件統(tǒng)稱為輿情監(jiān)測(cè)軟件，比小爬蟲(chóng)多了統(tǒng)計(jì)與預(yù)警的用處。由禹老師麾下實(shí)驗(yàn)室開(kāi)發(fā)的Socialdata-x歸類(lèi)于此，但也遠(yuǎn)不止。

“一般這一類(lèi)軟件頂多把采集好的敏感關(guān)鍵信息由出現(xiàn)頻率多少來(lái)排名，它們?cè)诨ヂ?lián)網(wǎng)上出現(xiàn)到了一定數(shù)，軟件開(kāi)始發(fā)出危險(xiǎn)預(yù)警。然后沒(méi)有然后了，也沒(méi)有關(guān)于事件的結(jié)論。”禹老師立志讓Socialdata-x補(bǔ)上后來(lái)的環(huán)節(jié)。當(dāng)然，基于實(shí)驗(yàn)室優(yōu)秀的技術(shù)支持，小爬蟲(chóng)完美鋪網(wǎng)，地盤(pán)勢(shì)力覆蓋幾大遠(yuǎn)近聞名風(fēng)頭無(wú)二的社交平臺(tái)，盡所能地爬梳完整詳細(xì)豐富的信息。

前陣，允許普通二孩的政策由官方發(fā)布后，贊成否定中庸的各執(zhí)一詞，各方觀點(diǎn)風(fēng)起云涌，在網(wǎng)上轟炸開(kāi)了花。這檔口，禹老師聚焦的是國(guó)外對(duì)此的看法?！肮嫉哪翘焱砩狭c(diǎn)到隔天的早上六點(diǎn)，外國(guó)知名的社交網(wǎng)站有7萬(wàn)條相關(guān)評(píng)論信息。我們的軟件把它們?nèi)垦b箱入數(shù)據(jù)庫(kù)，再開(kāi)始清點(diǎn)過(guò)濾?！敝斑@熱點(diǎn)還在預(yù)熱的一個(gè)月里，庫(kù)存的對(duì)“普二”的外文網(wǎng)絡(luò)評(píng)點(diǎn)已經(jīng)多到十幾萬(wàn)條，好在經(jīng)過(guò)程序整理，撇去了無(wú)序或斷片的內(nèi)容，余留下5萬(wàn)條精裝版本。

接下來(lái)，禹老師會(huì)憑著自己的智慧與傳播學(xué)理論根底，撥云見(jiàn)日般地剖明海那邊的大眾態(tài)度與這一次的傳播意義。專(zhuān)業(yè)點(diǎn)說(shuō)，這是社群連接分析?！按髷?shù)據(jù)的最終端，是由人去觀察，站在輔助者角色的軟件無(wú)法越界代替?！?/p>

扯去大眾難解標(biāo)簽

禹老師點(diǎn)開(kāi)自個(gè)計(jì)算機(jī)頁(yè)面上一幅幅顏色迷離酷炫的圖，一些比煙花更燦爛，一些是點(diǎn)綴后的中國(guó)地圖，還有的里外三層圈，在黑色的布景下像極了科學(xué)界對(duì)太陽(yáng)的層級(jí)解構(gòu)。它們不是現(xiàn)代派藝術(shù)家的美好作為，它們是可視的能被理解的數(shù)據(jù)圖畫(huà)。

于是，除了書(shū)面的專(zhuān)業(yè)報(bào)告外，數(shù)據(jù)扯去了大眾難解的標(biāo)簽，堂而皇之地亮相。

定位在呼和浩特，某人在微博上抒發(fā)對(duì)高考改革話題的一些片語(yǔ)。這一段往常以文字表述的內(nèi)容抽象成了熒光藍(lán)色的點(diǎn)，在中國(guó)地圖上定格于呼和浩特位置，別的圓點(diǎn)與它一起散落著，仿如眨眼的夜深星空。鼠標(biāo)在這點(diǎn)上劃過(guò)，某人自發(fā)的評(píng)論文字顯現(xiàn)出來(lái)。圍繞數(shù)據(jù)的人事物在同一維度到齊。再微觀來(lái)看，相對(duì)北京的其他地方，昌平區(qū)集湊著更密麻的圓點(diǎn)。“因?yàn)槟莾和鈦?lái)人口多，所以對(duì)異地高考的新聞格外關(guān)注?！?/p>

誰(shuí)對(duì)誰(shuí)影響，誰(shuí)與誰(shuí)聯(lián)系，一張繁復(fù)的塵網(wǎng)不再是語(yǔ)言上的描摹。點(diǎn)成了圈，圈外擴(kuò)展出了點(diǎn)?！拔⒉┥?，轉(zhuǎn)發(fā)與評(píng)論的人都在數(shù)據(jù)圖上留痕。”那時(shí)那會(huì)兒的人際傳播過(guò)程倒回在數(shù)據(jù)圖上。另方面，小爬蟲(chóng)還能抓牢各種出現(xiàn)在留言中的表情符號(hào)，禹老師把它稱作情緒數(shù)據(jù)。好比簡(jiǎn)單明了的關(guān)鍵詞“好”，末尾加上問(wèn)號(hào)與感嘆號(hào)，兩者寓意迥然不同。

“雖然有些成果，但我們的研究還要深入?！庇砝蠋熞砸幌虻淖灾t語(yǔ)調(diào)說(shuō)道。

想象“碼”在現(xiàn)實(shí)里

當(dāng)翩翩自帶文藝風(fēng)況且學(xué)文從文的禹老師，遇上以技術(shù)流攻城略地的理科人士，那么兩相說(shuō)得清嗎？

實(shí)驗(yàn)室的草創(chuàng)初年，一文兩理三皮匠聚在一起，默默擦著冷汗，因?yàn)槟惴匠T我聽(tīng)也不懂，感性思維與理性的一對(duì)壘，結(jié)果是兩兩“陣亡”。數(shù)據(jù)怎樣粉墨呈現(xiàn)，禹衛(wèi)華在腦內(nèi)補(bǔ)完后，對(duì)著隊(duì)友吳桑與XMAN傾倒出來(lái)，希望借助他們的智慧雙手，把想象“碼”出在現(xiàn)實(shí)里。但身為與直線曲線表格之類(lèi)傳統(tǒng)形式打交道的理科人士，難理解禹老師濃墨重彩的數(shù)據(jù)抽象畫(huà)。不過(guò)來(lái)日方長(zhǎng)，三人磨出了相知的默契。

禹老師花一暑假時(shí)光看完程序員寶典，終于跨過(guò)了寫(xiě)代碼的門(mén)檻。他不說(shuō)自己稱得上能手，但也擺脫了當(dāng)懵懂門(mén)外人的局面。事實(shí)上，到了后來(lái)，實(shí)驗(yàn)室的三人交流，用的是代碼，是高端的計(jì)算機(jī)語(yǔ)言，不再是普通話或英語(yǔ)。

偶然有時(shí)候，兩位高手正巧不在，出手解決虛擬世界問(wèn)題的就是當(dāng)年不懂的禹老師?！拔⑿攀腌姄Q一次接口，這下得不到公眾號(hào)數(shù)據(jù)了。”日常工作處在崩盤(pán)的崖邊上。禹老師穩(wěn)了穩(wěn)焦急的心神，轉(zhuǎn)念想，就像鑰匙環(huán)上扣了太多把鑰匙，到頭來(lái)自己繞進(jìn)去，甚至找不到開(kāi)家門(mén)的那把，對(duì)方也是這樣，擔(dān)負(fù)過(guò)重，早晚放棄。

所以，禹老師兩手一揮，任它去十秒變化吧，他讓代碼改回到原來(lái)的日常狀態(tài)。過(guò)了幾天后如禹老師所想，一切恢復(fù)到原來(lái)，包括那微信接口。

故事終于迎來(lái)了團(tuán)圓的結(jié)局。

最近，禹老師忙里抽空地開(kāi)啟微信公眾號(hào)newdata，在平臺(tái)上曬出獨(dú)家的新媒體全景數(shù)據(jù)，文章以數(shù)字分析與觀點(diǎn)見(jiàn)長(zhǎng)，不過(guò)筆調(diào)依然屬于文人style。

v名詞對(duì)對(duì)碰

Socialdata-x新媒體全景數(shù)據(jù)平臺(tái)，聚合當(dāng)前主要社會(huì)化媒體如微博、微信公眾賬號(hào)、論壇等數(shù)據(jù)資源，是專(zhuān)門(mén)面向?qū)W科背景為人文社會(huì)科學(xué)的研究者、媒體從業(yè)人員、公務(wù)部門(mén)開(kāi)發(fā)的一個(gè)集采集、分析、交互可視化為一體的分析平臺(tái)。

Socialdata指的是社會(huì)化數(shù)據(jù)，即可以獲得的、公開(kāi)的社會(huì)化數(shù)據(jù)，x指的是學(xué)科，可以是新聞傳播學(xué)、社會(huì)學(xué)，也可以是政治學(xué)、教育學(xué)等，凡需要進(jìn)行社會(huì)化數(shù)據(jù)研究的研究者均可使用。