王書(shū)欣 陳元昭 張舒婷

（作者單位：深圳市氣象局）

如何獲取及利用網(wǎng)絡(luò)中蘊(yùn)含的大量社會(huì)觀測(cè)數(shù)據(jù)成為新媒體時(shí)代氣象觀測(cè)發(fā)展的重點(diǎn)。深圳市氣象局利用爬蟲(chóng)技術(shù)獲取數(shù)據(jù)，并通過(guò)機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)進(jìn)行篩選過(guò)濾，建立了一套高擴(kuò)展性、高效性和低成本的氣象社會(huì)觀測(cè)數(shù)據(jù)的采集系統(tǒng)，快速獲取、篩選、分析和提取有價(jià)值的、多樣化的氣象相關(guān)的社會(huì)觀測(cè)數(shù)據(jù)，并對(duì)數(shù)據(jù)加以分析應(yīng)用，為預(yù)報(bào)員進(jìn)行公眾服務(wù)、大城市氣象災(zāi)害風(fēng)險(xiǎn)預(yù)警提供支撐。

傳統(tǒng)地面綜合氣象觀測(cè)是當(dāng)前對(duì)天氣進(jìn)行預(yù)測(cè)的一種重要手段，但隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷完善，各大領(lǐng)域的數(shù)據(jù)量都飛速增加，使人們進(jìn)入到大數(shù)據(jù)社會(huì)時(shí)代，移動(dòng)網(wǎng)絡(luò)成為公眾獲取天氣信息的主要渠道，同時(shí)也成為信息發(fā)布的參與者之一，微博則是最具影響力的傳播途徑。在這一背景下，為使微博中大量社會(huì)數(shù)據(jù)更好地為氣象部門(mén)提供服務(wù)，就必須完善社會(huì)化觀測(cè)數(shù)據(jù)獲取方法。因此探討基于爬蟲(chóng)技術(shù)基礎(chǔ)之上的社會(huì)化觀測(cè)數(shù)據(jù)與獲取具有重要意義。

目前，盡管國(guó)內(nèi)氣象部門(mén)尚未有基于爬蟲(chóng)技術(shù)的數(shù)據(jù)獲取技術(shù)，但國(guó)內(nèi)外大量專家學(xué)者針對(duì)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)開(kāi)展了大量的研究工作?；谝酝芯?，深圳市氣象局首度嘗試建立基于爬蟲(chóng)技術(shù)的社會(huì)化觀測(cè)數(shù)據(jù)獲取平臺(tái)。本文將著重基于爬蟲(chóng)技術(shù)探討社會(huì)化觀測(cè)數(shù)據(jù)獲取及應(yīng)用，以打破傳統(tǒng)氣象觀測(cè)壁壘，開(kāi)展多源觀測(cè)數(shù)據(jù)的在線融合并推進(jìn)氣象觀測(cè)的社會(huì)化，彌補(bǔ)觀測(cè)空缺，利用獲取數(shù)據(jù)分析熱度和情感，使社會(huì)化數(shù)據(jù)可以在天氣預(yù)報(bào)服務(wù)中得以利用。

1 社會(huì)化觀測(cè)數(shù)據(jù)獲取平臺(tái)建設(shè)

隨著大數(shù)據(jù)時(shí)代的到來(lái)，氣象部門(mén)需建設(shè)一套高擴(kuò)展性、高效性和低成本的氣象社會(huì)觀測(cè)數(shù)據(jù)的采集系統(tǒng)，通過(guò)快速獲取、處理、分析和提取有價(jià)值的、多樣化的氣象相關(guān)的社會(huì)觀測(cè)數(shù)據(jù)，以滿足當(dāng)今大數(shù)據(jù)環(huán)境下對(duì)于文本、圖片等數(shù)據(jù)的采集、存儲(chǔ)、分析及可視化需求，為社會(huì)提供更優(yōu)質(zhì)的服務(wù)。

為此，搭建基于爬蟲(chóng)技術(shù)的社會(huì)化觀測(cè)數(shù)據(jù)獲取平臺(tái)，可以完成數(shù)據(jù)獲取，數(shù)據(jù)過(guò)濾以及數(shù)據(jù)分析三部分工作。通過(guò)爬蟲(chóng)技術(shù)獲取包括冰雹、龍卷等現(xiàn)有探測(cè)設(shè)備無(wú)法精準(zhǔn)捕捉的中小尺度天氣現(xiàn)象，其形式包括文字、圖片、視頻等。由于爬取到的數(shù)據(jù)有大量的重復(fù)、過(guò)時(shí)甚至是虛假信息，需要對(duì)其進(jìn)行過(guò)濾，最終將可用的數(shù)據(jù)進(jìn)行氣象實(shí)況監(jiān)控和公共服務(wù)輿論情感分析，后文將詳細(xì)闡述這部分工作。

平臺(tái)包含數(shù)據(jù)獲取模塊、數(shù)據(jù)存儲(chǔ)模塊和結(jié)果分析展示模塊（圖1）?；跉庀笊鐣?huì)觀測(cè)信息的特點(diǎn)，采用分布式數(shù)據(jù)采集技術(shù)，并存儲(chǔ)在數(shù)據(jù)庫(kù)中，通過(guò)建立機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的模型對(duì)數(shù)據(jù)進(jìn)行計(jì)算和分析，得到統(tǒng)計(jì)信息，最終通過(guò)可視化的界面展示。三個(gè)模塊分工明確，下層向上層提供可靠服務(wù)，最終構(gòu)成整個(gè)完整的平臺(tái)。

圖1 社會(huì)化觀測(cè)數(shù)據(jù)獲取平臺(tái)設(shè)計(jì)模型

2 社會(huì)化觀測(cè)數(shù)據(jù)來(lái)源

深圳天氣微博建立8年，截至2018年11月，粉絲187萬(wàn)人，僅2018年閱讀量達(dá)10億次，轉(zhuǎn)評(píng)次數(shù)超過(guò)50萬(wàn)次，超強(qiáng)臺(tái)風(fēng)山竹話題討論量過(guò)100萬(wàn)次，在如此龐大的信息庫(kù)中存在著海量的社會(huì)自發(fā)上傳至社交媒體的觀測(cè)信息，與傳統(tǒng)氣象監(jiān)測(cè)如自動(dòng)站、雷達(dá)、衛(wèi)星數(shù)據(jù)不同，社會(huì)觀測(cè)數(shù)據(jù)雖不能精確測(cè)量各種氣象要素，但可以監(jiān)測(cè)到包含冰雹、龍卷等罕見(jiàn)無(wú)法監(jiān)測(cè)的天氣現(xiàn)象，以及積水、滑坡等氣象部門(mén)無(wú)法掌握的衍生災(zāi)害實(shí)況，這些數(shù)據(jù)有效地對(duì)傳統(tǒng)氣象觀測(cè)數(shù)據(jù)進(jìn)行補(bǔ)充，通過(guò)收集該信息的發(fā)布時(shí)間、發(fā)布地點(diǎn)以及相關(guān)內(nèi)容包括圖片、視頻等信息，擴(kuò)大氣象數(shù)據(jù)觀測(cè)網(wǎng)，共實(shí)現(xiàn)爬取冰雹、大風(fēng)、暴雨、雷電、龍卷5種氣象類信息，以及積水、洪澇、滑坡3種災(zāi)害影響類信息。

目前平臺(tái)數(shù)據(jù)主要來(lái)源于新浪微博，但此技術(shù)同樣可應(yīng)用于微信、各大門(mén)戶、新聞網(wǎng)站以及各政府部門(mén)網(wǎng)站，從而獲取氣象信息和其影響信息，此項(xiàng)工作未來(lái)將逐步開(kāi)展。

3 社會(huì)化觀測(cè)數(shù)據(jù)獲取、篩選與分析

3.1 基于爬蟲(chóng)技術(shù)的社會(huì)化觀測(cè)數(shù)據(jù)獲取

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)是互聯(lián)網(wǎng)搜索功能中一項(xiàng)基本技術(shù)，其在中國(guó)最成功的應(yīng)用就是百度搜索引擎，通過(guò)一傳十、十傳百的裂變搜索方式，實(shí)現(xiàn)信息的網(wǎng)狀獲取，該技術(shù)的優(yōu)點(diǎn)在于信息獲取速度快、內(nèi)容全。為此引入網(wǎng)絡(luò)爬蟲(chóng)技術(shù)來(lái)獲取新浪微博中社會(huì)觀測(cè)數(shù)據(jù)，并按照一定的預(yù)設(shè)關(guān)鍵詞、地域、時(shí)間等閾值進(jìn)行自動(dòng)識(shí)別、抓取氣象相關(guān)信息的程序和腳本。

基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)獲取社會(huì)化觀測(cè)數(shù)據(jù)的方法主要包括：基于第三方軟件或者第三方微博數(shù)據(jù)集的方法、基于新浪公開(kāi)API的方法和網(wǎng)絡(luò)爬蟲(chóng)抓取的方法。通過(guò)使用爬蟲(chóng)技術(shù)中通用的Scrapy爬取方式，可以同時(shí)發(fā)送多條爬取請(qǐng)求，同步進(jìn)行信息爬取，最大化增進(jìn)爬取效率。由于采集到的微博數(shù)據(jù)并非都是描述冰雹、龍卷風(fēng)、大風(fēng)等發(fā)生信息的數(shù)據(jù)，需要采用文本分類技術(shù)，將實(shí)際含有上述關(guān)鍵詞的文本識(shí)別出來(lái)，同時(shí)記錄其相關(guān)的圖片、視頻、網(wǎng)頁(yè)鏈接等信息。

所獲取的信息同時(shí)需判斷以下幾個(gè)條件以便進(jìn)行后期分析：1）記錄的信息與災(zāi)害性天氣相關(guān)；2）如果與災(zāi)害性天氣相關(guān)，有明確的發(fā)生氣象現(xiàn)象的位置或時(shí)間；3）記錄的信息與輿情是否相關(guān)。

目前，基于新浪微博平臺(tái)的數(shù)據(jù)進(jìn)行爬取的數(shù)據(jù)可在5 min內(nèi)完成，但結(jié)合深圳實(shí)際天氣情況以及工作需要將爬取頻率保持1次/h，鑒于目前雷達(dá)數(shù)據(jù)的更新頻率為6 min，在惡劣天氣下，也可后臺(tái)更改爬取頻率為1次/6 min。

3.2 無(wú)效數(shù)據(jù)過(guò)濾篩選

通過(guò)爬蟲(chóng)技術(shù)獲取的文本信息存在大量失真、失效、無(wú)用甚至是廣告數(shù)據(jù)，為保證數(shù)據(jù)的可用性，需對(duì)其進(jìn)行過(guò)濾篩選。通過(guò)機(jī)器學(xué)習(xí)方式，使用支持向量機(jī)（SVM）模式進(jìn)行數(shù)據(jù)分類與回歸分析，由預(yù)報(bào)員人工判別給定的多組社會(huì)數(shù)據(jù)訓(xùn)練實(shí)例，將訓(xùn)練實(shí)例分類標(biāo)記為有效、無(wú)效兩類，通過(guò)機(jī)器不斷學(xué)習(xí)，使SVM模型成為非概率的二元線性分類器。當(dāng)出現(xiàn)新的實(shí)例時(shí)，SVM模型將其進(jìn)行分類為有效或無(wú)效其中一類。經(jīng)過(guò)大量數(shù)據(jù)訓(xùn)練，機(jī)器將過(guò)濾篩選后的數(shù)據(jù)推送至前段展示，預(yù)報(bào)員仍可手動(dòng)調(diào)整信息類別，通過(guò)不斷增加訓(xùn)練實(shí)例，形成正反饋機(jī)制，不斷優(yōu)化篩選模型。

3.3 重復(fù)微博數(shù)據(jù)過(guò)濾

利用爬蟲(chóng)技術(shù)采集篩選后的微博數(shù)據(jù)仍存在大量的重復(fù)數(shù)據(jù)從而影響分析結(jié)果，選用simhash算法去重可以高效地將爬蟲(chóng)系統(tǒng)每日數(shù)以千萬(wàn)級(jí)的數(shù)據(jù)進(jìn)行去重合并，通過(guò)對(duì)文檔關(guān)鍵詞進(jìn)行拆分并整理成關(guān)鍵詞集合，對(duì)比不同文檔關(guān)鍵詞集合相似度，去除重復(fù)數(shù)據(jù)。

目前對(duì)廣東省范圍內(nèi)的冰雹、大風(fēng)、暴雨、雷電、龍卷5種氣象類信息，以及積水、洪澇、滑坡3種災(zāi)害影響類信息進(jìn)行爬取，共獲取到53900條數(shù)據(jù)，其中氣象類數(shù)據(jù)48538條，災(zāi)害影響類5362條，由圖2逐日數(shù)據(jù)結(jié)果展示可以直觀獲知深圳4—9月重大災(zāi)害天氣發(fā)生時(shí)間，如8月底持續(xù)季風(fēng)低壓降水和9月15—16日超強(qiáng)臺(tái)風(fēng)山竹影響，對(duì)于4月前汛期深圳無(wú)強(qiáng)對(duì)流、回南天等高影響天氣這種反例也有明顯表現(xiàn)。同時(shí)可以獲知社會(huì)數(shù)據(jù)獲取強(qiáng)度，對(duì)強(qiáng)天氣過(guò)程、衍生災(zāi)害進(jìn)行準(zhǔn)確識(shí)別。

4 主題詞熱度分析和情感分析應(yīng)用

4.1 主題詞熱度分析

氣象中所關(guān)注的熱度，是市民在一段時(shí)間內(nèi)所關(guān)注的某一天氣類型、災(zāi)害信息或是相關(guān)話題，我們提取其關(guān)鍵字作為熱度的主題詞。傳統(tǒng)的基于詞頻分析的主題模型不能從語(yǔ)義中進(jìn)行分析，而將微博熱度作為計(jì)算基數(shù)的LDA主題模型則是將評(píng)論數(shù)、轉(zhuǎn)發(fā)數(shù)納入計(jì)算，獲取微博主題熱度分布，得到真實(shí)的高關(guān)注度數(shù)據(jù)信息，可供預(yù)報(bào)員更有針對(duì)性進(jìn)行服務(wù)或是發(fā)現(xiàn)并處理輿情。

圖2 2018年4—9月逐日獲取數(shù)據(jù)結(jié)果展示（條）

對(duì)于微博氣象信息的挖掘，由于微博用戶之間具有關(guān)注與被關(guān)注、轉(zhuǎn)發(fā)與評(píng)論的關(guān)系，社會(huì)關(guān)系網(wǎng)龐大而復(fù)雜，常規(guī)的分析方法無(wú)法勝任。“深圳天氣”微博信息構(gòu)成的文本矩陣的稀疏性和高維度性，選擇使用潛在狄利克雷分布的主題生成模型（LDA）來(lái)完成基于潛在語(yǔ)義分析的文本挖掘方法進(jìn)行的微博主題的挖掘。

圖3 2018年6月5—9日主題詞熱度分析結(jié)果展示

2018年6月6—8日受南海熱帶低壓影響，廣東大部出現(xiàn)大暴雨。通過(guò)統(tǒng)計(jì)2018年6月5—9日微博中社會(huì)化數(shù)據(jù)得出主題詞熱度如圖3所示，經(jīng)與天氣實(shí)況以及預(yù)報(bào)員輿情監(jiān)控對(duì)比看來(lái)，此次記錄為真實(shí)有效。統(tǒng)計(jì)顯示最受網(wǎng)友關(guān)注的天氣現(xiàn)象為臺(tái)風(fēng)、暴雨和大暴雨，深圳、江門(mén)和廣州則為受影響關(guān)注度最高的地區(qū)，說(shuō)明本次過(guò)程對(duì)珠三角地區(qū)的高密度人群影響更為顯著；同時(shí)天氣預(yù)警信息和高考信息也同樣備受關(guān)注，在進(jìn)行公眾服務(wù)時(shí)應(yīng)將其與其他高熱度主題結(jié)合共同服務(wù)。

經(jīng)過(guò)未來(lái)的長(zhǎng)期主題詞熱度數(shù)據(jù)積累，可以總結(jié)出公眾所真實(shí)關(guān)心、討論的天氣現(xiàn)象，從而根據(jù)需求，加大該天氣條件下的氣象服務(wù)力度。

4.2 情感分析

氣象服務(wù)由于其必然存在的不準(zhǔn)確性以及目前與公眾所期望的精細(xì)化預(yù)報(bào)間的差距，氣象部門(mén)經(jīng)常陷入輿論風(fēng)波，由于輿情信息的不能及時(shí)獲取，往往不能正確地化解輿情。而基于爬蟲(chóng)技術(shù)獲取到的數(shù)據(jù)中除大量的社會(huì)觀測(cè)數(shù)據(jù)，其中還包含著社會(huì)的情感狀態(tài)，包括正面積極鼓勵(lì)的言語(yǔ)或是負(fù)面批評(píng)的指責(zé)，分析數(shù)據(jù)中的情感走向有助于更好掌握輿情動(dòng)態(tài)，引導(dǎo)大眾評(píng)論走向，為氣象服務(wù)做出正面回應(yīng)。

目前爬取3萬(wàn)條微博，84萬(wàn)條深圳天氣微博的評(píng)論，人工對(duì)其中1萬(wàn)條評(píng)論進(jìn)行情感定性，分為積極評(píng)價(jià)（pos）和消極評(píng)價(jià)（neg）以及中性，根據(jù)多元伯努利事件模型（NB）、支持向量機(jī)（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、霍普菲爾網(wǎng)絡(luò)（HN）、深度霍普菲爾網(wǎng)絡(luò)（Att+HN）、AVG函數(shù)、時(shí)間敏感網(wǎng)絡(luò)（TSN） 8種機(jī)器學(xué)習(xí)方法對(duì)3萬(wàn)條評(píng)論進(jìn)行分析實(shí)驗(yàn)，通過(guò)計(jì)算情感定性準(zhǔn)確率、相關(guān)系數(shù)以及方差確定學(xué)習(xí)方法，結(jié)果如圖4。

圖4 微博評(píng)論數(shù)據(jù)的對(duì)比試驗(yàn)結(jié)果

統(tǒng)計(jì)表明，RNN、Att+HN 、AVG三種方法的分析結(jié)果更為準(zhǔn)確，其中AVG方法的方差結(jié)果更優(yōu)，準(zhǔn)確率和相關(guān)性結(jié)果也名列前茅，綜合考慮AVG方法更穩(wěn)定更適合進(jìn)行情感分析。

同樣，對(duì)6月5—9日降雨過(guò)程進(jìn)行情感分析，共獲取15060條數(shù)據(jù)（表1），發(fā)現(xiàn)大部分評(píng)論感情色彩以中性為主，其中大部分是提出咨詢，惡劣天氣來(lái)臨或正在影響時(shí)人們關(guān)注度大幅提高，過(guò)程結(jié)束關(guān)注度急劇下降，9日數(shù)據(jù)量?jī)H為7日的1/10；惡劣天氣下消極評(píng)價(jià)量、比例同步上升，而在惡劣天氣最初影響時(shí)人們更愿意發(fā)表有感情色彩的言論，6日積極和消極評(píng)價(jià)占比總評(píng)價(jià)數(shù)為22.3%，相較其他日期上升3%～5%。預(yù)報(bào)員根據(jù)以上情感分析數(shù)據(jù)及時(shí)引導(dǎo)輿論。

表1 2018年6月5—9日情感分析結(jié)果展示

5 結(jié)論及展望

根據(jù)過(guò)去一年的平臺(tái)建設(shè)與數(shù)據(jù)獲取分析發(fā)現(xiàn)，基于爬蟲(chóng)技術(shù)來(lái)獲取社會(huì)化觀測(cè)數(shù)據(jù)可以有效地補(bǔ)充常規(guī)氣象觀測(cè)的不足，尤其是在冰雹、大風(fēng)、暴雨等氣象災(zāi)害發(fā)生時(shí)可以快速獲取大量信息，并獲取其帶來(lái)的影響，加大輿情監(jiān)控，為預(yù)報(bào)員進(jìn)行公眾與決策服務(wù)進(jìn)行數(shù)據(jù)支撐。通過(guò)爬蟲(chóng)技術(shù)獲取到的數(shù)據(jù)我們可以清楚獲知災(zāi)害發(fā)生的種類、時(shí)間、時(shí)長(zhǎng)與地點(diǎn)，并進(jìn)行記錄統(tǒng)計(jì)，為預(yù)報(bào)和決策服務(wù)提供支持；通過(guò)主題詞熱度分析，預(yù)報(bào)員可以清晰感知公眾關(guān)注熱點(diǎn)，并有針對(duì)性地開(kāi)展公眾服務(wù)；情感分析幫助預(yù)報(bào)員實(shí)時(shí)監(jiān)控輿情，在惡劣天氣或預(yù)報(bào)失誤時(shí)，及時(shí)化解輿情。

未來(lái)爬蟲(chóng)技術(shù)在社會(huì)化觀測(cè)數(shù)據(jù)將結(jié)合雷達(dá)與自動(dòng)站實(shí)況進(jìn)一步優(yōu)化數(shù)據(jù)篩選結(jié)果，加大其真實(shí)可用性，并且獲取途徑將不僅限于新浪微博平臺(tái)，深圳天氣微信同樣具有100萬(wàn)粉絲，年閱讀量超過(guò)1000萬(wàn)次，各大新聞客戶端如騰訊、網(wǎng)易、今日頭條也具有極高的互動(dòng)性，在上述平臺(tái)開(kāi)展社會(huì)化觀測(cè)數(shù)據(jù)獲取工作，可以進(jìn)一步擴(kuò)大數(shù)據(jù)來(lái)源。該技術(shù)也可運(yùn)用到政府網(wǎng)站及其他類型網(wǎng)站中，以用于獲取如河道、水位、浪潮等基礎(chǔ)信息的更細(xì)，使決策服務(wù)技術(shù)得到更多數(shù)據(jù)支撐。

深入閱讀

楊富蓮, 2017. 地面綜合氣象觀測(cè)能力提升對(duì)策. 科技與創(chuàng)新, 9:47-48.

姜青山, 2018. 淺談氣象服務(wù)App的開(kāi)發(fā)與應(yīng)用. 科技風(fēng), (1): 124-124.王杰, 2017. 基于微博大數(shù)據(jù)的輿情監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn). 天津:中國(guó)民航大學(xué).

劉慶華, 覃茹芊, 2013. 探索區(qū)域氣象觀測(cè)站社會(huì)化保障的新模式.氣象研究與應(yīng)用, 34(z2): 170-171, 173.

石磊, 2013. 新浪API與網(wǎng)絡(luò)爬蟲(chóng)結(jié)合獲取數(shù)據(jù)的研究與應(yīng)用. 中國(guó)電子商務(wù), (22): 58-59.

毛夏, 李磊, 江崟, 等, 2017. 深圳超大城市氣象探測(cè)數(shù)據(jù)在科學(xué)研究中的應(yīng)用. 廣東氣象, (6): 2-5.