王 凱 張 帆 郭朝陽

(自然資源部陜西基礎(chǔ)地理信息中心, 陜西 西安 710054)

0 引言

移民搬遷是精準(zhǔn)脫貧的主要方式之一,是一項(xiàng)集政策性、專業(yè)性、群眾性于一體的系統(tǒng)工程,是影響國(guó)家安定和發(fā)展的一個(gè)重要因素[1-2]。移民搬遷工作具有數(shù)據(jù)體量大、信息碎片化、對(duì)象關(guān)系復(fù)雜等特點(diǎn),數(shù)據(jù)管理、應(yīng)用、分析和挖掘的難度非常大,這就需要思考如何用更便捷、更準(zhǔn)確地獲取、整合、管理數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)利用的最大化[3]。大數(shù)據(jù)時(shí)代的到來為解決海量數(shù)據(jù)的管理和應(yīng)用提供了新的思路[4]。應(yīng)用大數(shù)據(jù)技術(shù),開展移民扶貧搬遷數(shù)據(jù)的匯集、處理、對(duì)比分析與綜合評(píng)估,并通過大數(shù)據(jù)技術(shù)開展預(yù)警、決策和分析,能夠?yàn)橐泼癜徇w工作提供決策參考[5]。

本文在深入分析大數(shù)據(jù)相關(guān)技術(shù)的基礎(chǔ)上,結(jié)合移民搬遷信息管理平臺(tái)的實(shí)際業(yè)務(wù)需求,從海量數(shù)據(jù)管理、數(shù)據(jù)融合分析、數(shù)據(jù)可視化展示等方面開展了關(guān)鍵技術(shù)研究,提出了移民搬遷大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì),為移民扶貧搬遷空間數(shù)據(jù)的存儲(chǔ)、管理、分析和可視化服務(wù)提供了解決方案。

1 問題和需求分析

1.1 海量數(shù)據(jù)管理問題

移民搬遷工作是一項(xiàng)巨大的系統(tǒng)工程,從涉及對(duì)象的層級(jí)上看,有省級(jí)、地市、縣區(qū)、鄉(xiāng)鎮(zhèn)、社區(qū)級(jí)搬遷對(duì)象等多級(jí)對(duì)象;從涉及業(yè)務(wù)的時(shí)間過程跨度上看,既有移民搬遷總體規(guī)劃、逐年計(jì)劃、規(guī)劃地解決方案設(shè)計(jì)、評(píng)估、執(zhí)行,又有搬遷前規(guī)劃、搬遷建設(shè)監(jiān)管和搬遷后管理;從數(shù)據(jù)類型看,有結(jié)構(gòu)化的常規(guī)數(shù)據(jù)、地理信息系統(tǒng)(geographic information system,GIS)空間數(shù)據(jù),還有非結(jié)構(gòu)化的文檔數(shù)據(jù)、視頻及圖像數(shù)據(jù)。如何采用大數(shù)據(jù)存儲(chǔ)、架構(gòu)和管理技術(shù),對(duì)這些海量的數(shù)據(jù)進(jìn)行有效管理,為移民搬遷工作管理提供強(qiáng)大的支撐,是移民搬遷信息化工作的需要考慮的基礎(chǔ)性工作。

1.2 數(shù)據(jù)融合和分析問題

數(shù)據(jù)的價(jià)值在于利用,移民搬遷既包括移民搬遷對(duì)象信息、搬遷安置信息、項(xiàng)目信息,又包括了人口、社會(huì)經(jīng)濟(jì)、扶貧政策與產(chǎn)業(yè)、地理環(huán)境等各類數(shù)據(jù),如何做到搬遷工作的科學(xué)化、信息化、精準(zhǔn)化,實(shí)現(xiàn)搬遷對(duì)象精準(zhǔn)、資源整合精準(zhǔn)、項(xiàng)目安排精準(zhǔn)、資金使用精準(zhǔn)、措施到位精準(zhǔn)、成效鞏固精準(zhǔn),需要基于大數(shù)據(jù)技術(shù),實(shí)現(xiàn)分布式環(huán)境下多源、異構(gòu)數(shù)據(jù)的清洗、比對(duì)、統(tǒng)計(jì)、分析和挖掘,在海量的搬遷數(shù)據(jù)中將有價(jià)值的信息分類、匯總及分析,充分挖掘各類數(shù)據(jù)的價(jià)值,助力移民搬遷工作的精準(zhǔn)和科學(xué)開展。

1.3 數(shù)據(jù)多維可視化展示問題

大數(shù)據(jù)時(shí)代的背景下,在繁雜多元的數(shù)據(jù)中找到精準(zhǔn)的規(guī)律和結(jié)論,并創(chuàng)造價(jià)值是數(shù)據(jù)應(yīng)用的基本路徑。傳統(tǒng)的數(shù)據(jù)展示方式往往是通過表格和數(shù)字,展示效果不夠直觀,無法讓人快速獲取需要的信息,無法滿足輔助決策應(yīng)用需求。大數(shù)據(jù)可視化技術(shù)為數(shù)據(jù)的直觀展示提供了解決之道,比起使用文本或數(shù)字描述,大數(shù)據(jù)可視化技術(shù)將大量的數(shù)據(jù)和結(jié)果以更直觀、美觀的方式展示出來,讓信息易于掌握并具有意義。特別是隨著大數(shù)據(jù)可視化應(yīng)用的發(fā)展,地理信息數(shù)據(jù)可視化也受到了越來越多的重視,地理信息數(shù)據(jù)的可視化,不僅可以再現(xiàn)和表達(dá)時(shí)空信息,更重要的是分析對(duì)象的時(shí)空格局、挖掘其演化規(guī)律,并且可以通過這些模式規(guī)律對(duì)動(dòng)態(tài)變化進(jìn)行模擬和預(yù)測(cè)[6-8]。

2 關(guān)鍵技術(shù)及體系架構(gòu)

結(jié)合移民搬遷信息管理應(yīng)用需求,引入大數(shù)據(jù)管理、處理和可視化技術(shù),開展相關(guān)關(guān)鍵技術(shù)研究,形成移民搬遷大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì),滿足移民搬遷管理對(duì)科學(xué)管理、準(zhǔn)確分析、輔助決策的要求。

2.1 關(guān)鍵技術(shù)研究

2.1.1分布式數(shù)據(jù)采集技術(shù)

移民搬遷涉及多源、異構(gòu)的各類數(shù)據(jù),為了實(shí)現(xiàn)數(shù)據(jù)的有效管理和分析,需要將分布式的各類數(shù)據(jù)進(jìn)行有效匯集,形成符合一定標(biāo)準(zhǔn)的數(shù)據(jù)成果,并存儲(chǔ)到目標(biāo)環(huán)境中,實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理視圖。

在采集架構(gòu)上,數(shù)據(jù)采集基于分布式架構(gòu),分為Master、Worker角色,Master會(huì)根據(jù)采集任務(wù)量動(dòng)態(tài)啟動(dòng)、關(guān)閉Worker;在采集方式上,采用Sqoop、Logstash、DataX等多源數(shù)據(jù)采集框架,實(shí)現(xiàn)不同來源、不同類型的數(shù)據(jù)源采集,使用消息隊(duì)列傳輸采集的數(shù)據(jù),使用Zookeeper保障任務(wù)穩(wěn)定性、高可用性;在采集策略上,對(duì)于數(shù)據(jù)中有時(shí)間戳信息的數(shù)據(jù)進(jìn)行增量采集,無時(shí)間戳信息則進(jìn)行全量采集。其中,在全量數(shù)據(jù)采集時(shí),對(duì)數(shù)據(jù)行進(jìn)行MD5加密,并通過MD5值進(jìn)行對(duì)比檢測(cè)數(shù)據(jù)新增、修改、刪除情況。數(shù)據(jù)采集的架構(gòu)設(shè)計(jì)如圖1所示。

圖1 數(shù)據(jù)采集架構(gòu)

數(shù)據(jù)采集涉及的相關(guān)技術(shù)如下：

(1)多源數(shù)據(jù)采集技術(shù)。多源數(shù)據(jù)采集框架實(shí)現(xiàn)分布式、多源、異構(gòu)數(shù)據(jù)的匯集,主流的數(shù)據(jù)采集框架有Flume、Sqoop、LogStash等,其中,Flume主要用于采集文件,socket數(shù)據(jù)包等數(shù)據(jù)源,主要應(yīng)用于海量日志信息的收集;LogStash和Sqoop主要用于傳統(tǒng)的數(shù)據(jù)庫(如Mysql、Postgresql)與分布式文件系統(tǒng)(如HDFS)之間的數(shù)據(jù)信息采集和傳遞,相比而言,LogStash在開發(fā)生態(tài)、擴(kuò)展性上、易用性上更具有優(yōu)勢(shì)。

(2)消息隊(duì)列技術(shù)。消息隊(duì)列即消息中間件,是分布式系統(tǒng)中重要的組件,主要解決應(yīng)用解耦、異步消息、流量削鋒等問題。目前主流的消息隊(duì)列有Kafka、ActiveMQ、RabbitMQ等。利用消息隊(duì)列技術(shù),可以將下層的數(shù)據(jù)采集框架與上層的消息處理解耦,數(shù)據(jù)采集框架負(fù)責(zé)數(shù)據(jù)采集,并定時(shí)寫入到消息隊(duì)列中,消息隊(duì)列負(fù)責(zé)數(shù)據(jù)的接收、存儲(chǔ)和提供。

2.1.2差異化數(shù)據(jù)存儲(chǔ)管理

通過數(shù)據(jù)匯集來的數(shù)據(jù)類型多樣,有結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)、GIS空間數(shù)據(jù),還有非結(jié)構(gòu)化的文檔數(shù)據(jù)、視頻及圖像數(shù)據(jù),需要面向數(shù)據(jù)存儲(chǔ)和應(yīng)用特點(diǎn),采用差異化的存儲(chǔ)策略,實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)的優(yōu)化存儲(chǔ)[9]。依據(jù)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)量、數(shù)據(jù)特點(diǎn)和應(yīng)用需求,在傳統(tǒng)空間數(shù)據(jù)庫、共享文件系統(tǒng)基礎(chǔ)上,綜合利用空間數(shù)據(jù)庫、非關(guān)系數(shù)據(jù)庫、分布式文件系統(tǒng)等各類管理模式,采用塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)等多樣化的存儲(chǔ)架構(gòu),進(jìn)行多源異構(gòu)數(shù)據(jù)綜合存儲(chǔ),構(gòu)建面向用戶一致透明操作的綜合數(shù)據(jù)庫,實(shí)現(xiàn)來源不同、格式各異、應(yīng)用各具特點(diǎn)的數(shù)據(jù)的高效存儲(chǔ)和有效管理[10]。數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)如圖2所示。

圖2 數(shù)據(jù)存儲(chǔ)架構(gòu)

2.1.3數(shù)據(jù)清洗和融合技術(shù)

在大數(shù)據(jù)存儲(chǔ)環(huán)境的基礎(chǔ)上,借助于大數(shù)據(jù)計(jì)算引擎,開展移民搬遷數(shù)據(jù)治理,通過對(duì)不同數(shù)據(jù)之間的動(dòng)態(tài)格式轉(zhuǎn)換和對(duì)數(shù)據(jù)的清洗、分析、維護(hù)等一系列操作[11],形成統(tǒng)一的,可以對(duì)內(nèi)服務(wù)、對(duì)外輸出數(shù)據(jù)的信息服務(wù)。數(shù)據(jù)清洗和融合的技術(shù)流程圖如圖3所示。

圖3 數(shù)據(jù)清洗融合架構(gòu)

涉及的關(guān)鍵技術(shù)如下：

(1)數(shù)據(jù)清洗技術(shù)。數(shù)據(jù)清洗是按照一定的清洗規(guī)則,對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理[12]。常見的數(shù)據(jù)清洗規(guī)則包括數(shù)據(jù)格式清洗、數(shù)據(jù)邏輯錯(cuò)誤清洗,其中數(shù)據(jù)格式清洗是對(duì)數(shù)據(jù)格式(如時(shí)間、日期、全半角、貨幣單位等)、非法字符(如空格、全角/半角等)等進(jìn)行統(tǒng)一處理;數(shù)據(jù)邏輯清洗是對(duì)數(shù)據(jù)重復(fù)、數(shù)據(jù)不合理值、數(shù)據(jù)相互矛盾等進(jìn)行處理。數(shù)據(jù)清洗采用基于規(guī)則的清洗模式,將業(yè)務(wù)規(guī)則的抽象出來,支持自定義的數(shù)據(jù)規(guī)則擴(kuò)展,并實(shí)現(xiàn)可插拔式的規(guī)則嵌入和清除。數(shù)據(jù)清洗基于Drools規(guī)則引擎框架,Drools規(guī)則引擎通過調(diào)用規(guī)則文件來判斷記錄是否是臟數(shù)據(jù),并根據(jù)規(guī)則定義對(duì)數(shù)據(jù)進(jìn)行處理。

(2)數(shù)據(jù)融合技術(shù)。數(shù)據(jù)融合是面向數(shù)據(jù)應(yīng)用的關(guān)鍵。一方面,數(shù)據(jù)融合通過梳理各類數(shù)據(jù)之間的血緣關(guān)系,實(shí)現(xiàn)不同數(shù)據(jù)源、數(shù)據(jù)表、數(shù)據(jù)要素、字段、編碼規(guī)則之間的映射和關(guān)聯(lián);另一方面,以數(shù)據(jù)流向、數(shù)據(jù)血緣關(guān)系和應(yīng)用需求為依托,通過交互式操作,可靈活構(gòu)建數(shù)據(jù)服務(wù)模型,提供自定義的模型化數(shù)據(jù)服務(wù),實(shí)現(xiàn)基于數(shù)據(jù)模型直接建設(shè)數(shù)據(jù)應(yīng)用。

2.1.4數(shù)據(jù)可視化表達(dá)技術(shù)

結(jié)合視覺傳達(dá),新媒體設(shè)計(jì),圖表化設(shè)計(jì)等方法,針對(duì)移民搬遷業(yè)務(wù)應(yīng)用和輔助決策應(yīng)用需求,基于主流的地圖引擎和可視化渲染引擎,提供二維、三維地圖、智能駕駛艙、高級(jí)圖表等多樣化的地圖可視化表達(dá),實(shí)現(xiàn)集宏觀微觀于一體、動(dòng)態(tài)靜態(tài)于一體、地圖表格于一體的多樣化數(shù)據(jù)表達(dá)[13-14]?？梢暬磉_(dá)的技術(shù)架構(gòu)如圖4所示。

圖4 數(shù)據(jù)可視化表達(dá)架構(gòu)

數(shù)據(jù)可視化表示涉及的相關(guān)技術(shù)如下：

(1)地圖API。地圖應(yīng)用程序接口(application programming interface,API)為數(shù)據(jù)可視化提供二維、三維地圖呈現(xiàn)、渲染和應(yīng)用的框架,包括各種商業(yè)和開源的地圖API,其中,二維地圖框架主要包括Leaflet、MapboxGL、ArcGIS、OpenLayers等,三維地圖框架主要以Cesium、Threejs為代表。

(2)可視化API?？梢暬疉PI為數(shù)據(jù)可視化提供形式多樣、交互靈活、動(dòng)靜結(jié)合的可視化圖形和圖表應(yīng)用框架,常見的可視化API包括ECharts、AntV、Deck等。通過將可視化API與地圖API集成,構(gòu)建以二維、三維地圖為基底,以豐富多樣的圖表為承載的開放、跨終端時(shí)空數(shù)據(jù)可視化框架。

2.2 技術(shù)架構(gòu)

基于上述關(guān)鍵技術(shù)研究,本文提出了大數(shù)據(jù)技術(shù)體系下移民搬遷數(shù)據(jù)匯聚、處理、應(yīng)用的架構(gòu)設(shè)計(jì),該架構(gòu)采用基于服務(wù)的設(shè)計(jì)理念,采用基礎(chǔ)支撐層、數(shù)據(jù)源層、數(shù)據(jù)治理層、服務(wù)層、可視化表達(dá)層等多層架構(gòu)進(jìn)行實(shí)現(xiàn),具體如圖5所示。

圖5 平臺(tái)總體架構(gòu)

基礎(chǔ)支撐層：基于大數(shù)據(jù)相關(guān)技術(shù)生態(tài)體系構(gòu)建,包括HDFS分布式文件系統(tǒng)、HBase分布式數(shù)據(jù)庫以及MapReduce、Spark等并行計(jì)算處理系統(tǒng),為移民搬遷大數(shù)據(jù)的有效管理和高效運(yùn)算提供計(jì)算環(huán)境。

數(shù)據(jù)源：提供多源、異構(gòu)的移民搬遷數(shù)據(jù),包括搬遷業(yè)務(wù)數(shù)據(jù)、地理空間數(shù)據(jù)、人口經(jīng)濟(jì)等第三方政務(wù)數(shù)據(jù),以及圖片、文檔等數(shù)據(jù)。

數(shù)據(jù)治理層：由數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)融合四層模塊,采用基于規(guī)則和模型的數(shù)據(jù)治理策略,實(shí)現(xiàn)多源、異構(gòu)、分布式數(shù)據(jù)的匯集、存儲(chǔ)、管理和融合服務(wù)。

應(yīng)用服務(wù)層：以數(shù)據(jù)融合的成果為基礎(chǔ),針對(duì)移民搬遷業(yè)務(wù)需求,提供聚合分析、畫像分析、行為分析等各類數(shù)據(jù)應(yīng)用和分析服務(wù)。

可視化表達(dá)層：結(jié)合視覺傳達(dá),新媒體設(shè)計(jì),圖表化設(shè)計(jì)等方法,采用地圖引擎和可視化渲染引擎,提供開放的、可柔性定制的、跨終端時(shí)空數(shù)據(jù)展示框架,支持電腦端、移動(dòng)端、大屏端等各類展示應(yīng)用需求。

3 應(yīng)用實(shí)踐

以上文所述的系統(tǒng)框架和關(guān)鍵技術(shù)為基礎(chǔ),針對(duì)陜西省移民搬遷信息化管理要求,研發(fā)了陜西省移民搬遷信息管理平臺(tái)。平臺(tái)涉及全省100多萬戶約500萬人的搬遷,用戶群體包括省級(jí)、地市、縣區(qū)、鄉(xiāng)鎮(zhèn)、社區(qū)各級(jí)用戶,數(shù)據(jù)類型包括業(yè)務(wù)數(shù)據(jù)、空間數(shù)據(jù)、檔案數(shù)據(jù)等多源數(shù)據(jù)。平臺(tái)采用基于服務(wù)的設(shè)計(jì)理念,在Hadoop大數(shù)據(jù)框架的支撐下,綜合應(yīng)用基于LogStash和Kafaka的數(shù)據(jù)采集技術(shù)、基于Drools數(shù)據(jù)清理和Neo4j數(shù)據(jù)融合技術(shù),完成了多源、異構(gòu)、海量數(shù)據(jù)的高效存儲(chǔ)和管理,構(gòu)建了基于MapBox和Echarts的地圖可視化框架,實(shí)現(xiàn)了海量搬遷數(shù)據(jù)的匯集、存儲(chǔ)、清洗、融合和可視化分析。

通過平臺(tái)建設(shè),為移民搬遷業(yè)務(wù)指導(dǎo)、政策決定提供科學(xué)、準(zhǔn)確的分析手段,確保了移民搬遷“搬得出,穩(wěn)得住,能致富”,為實(shí)現(xiàn)“精準(zhǔn)搬遷、精細(xì)管理”奠定了堅(jiān)實(shí)的基礎(chǔ)。平臺(tái)的功能結(jié)構(gòu)如圖6所示。

圖6 平臺(tái)功能模塊

4 結(jié)束語

本文結(jié)合移民搬遷信息化工作中數(shù)據(jù)體量大、信息碎片化、對(duì)象關(guān)系復(fù)雜等突出特點(diǎn)和管理需求,從海量數(shù)據(jù)管理、數(shù)據(jù)挖掘分析、數(shù)據(jù)可視化展示等方面進(jìn)行了關(guān)鍵技術(shù)研究,在此基礎(chǔ)上,提出了大數(shù)據(jù)環(huán)境下移民搬遷信息化平臺(tái)架構(gòu)并予以實(shí)現(xiàn),為移民搬遷工作精準(zhǔn)、科學(xué)管理提供了技術(shù)支撐,也為后續(xù)類似信息化業(yè)務(wù)平臺(tái)建設(shè)提供了解決思路。