陳 琳,章娟娟,舒大鑫,曹雅琴,張 慶
(池州學(xué)院 數(shù)學(xué)與計算機學(xué)院,安徽 池州 247000)
基于大數(shù)據(jù)技術(shù)的精準(zhǔn)扶貧信息化平臺的研究與應(yīng)用
陳 琳,章娟娟,舒大鑫,曹雅琴,張 慶
(池州學(xué)院 數(shù)學(xué)與計算機學(xué)院,安徽 池州 247000)
基于大數(shù)據(jù)技術(shù)、預(yù)測建模分析技術(shù)搭建了精準(zhǔn)扶貧信息化平臺,平臺通過建模工具,能夠?qū)ω毨暨M(jìn)行行為預(yù)測,實現(xiàn)精準(zhǔn)識別,防止脫貧戶返貧,同時為貧困戶和幫扶單位提供扶貧個性化推送和雙向選擇,實現(xiàn)與社會各種幫扶企業(yè)進(jìn)行信息的共享,以及“脫貧攻堅”第三方檢測評估模塊,從而深入地推進(jìn)大數(shù)據(jù)技術(shù)在精準(zhǔn)扶貧過程中的應(yīng)用.
精準(zhǔn)識別;精準(zhǔn)扶貧;大數(shù)據(jù);扶貧信息化平臺;脫貧評估
1.1 大數(shù)據(jù)精準(zhǔn)扶貧的現(xiàn)實背景
貧困問題是我國“十三五”時期全面建成小康社會進(jìn)程中需要解決的重大現(xiàn)實問題.習(xí)近平總書記在青海代表團(tuán)表示“齊心協(xié)力打贏脫貧攻堅戰(zhàn),確保到2020年現(xiàn)行標(biāo)準(zhǔn)下農(nóng)村牧區(qū)貧困人口全部脫貧”.為了有效緩解并解決在扶貧工作中遇到的問題,以大數(shù)據(jù)為工具對貧困戶的信息、數(shù)據(jù)進(jìn)行處理便顯得尤為重要.同時這也是推動扶貧工作治理規(guī)范化、科學(xué)化發(fā)展的重要方向.
1.2 大數(shù)據(jù)技術(shù)在精準(zhǔn)扶貧中的使用概述
目前我國已經(jīng)進(jìn)入扶貧開發(fā)最關(guān)鍵的攻堅拔寨的沖刺期,大數(shù)據(jù)成為實施精準(zhǔn)扶貧、精準(zhǔn)脫貧的利器.根據(jù)安徽省政府的安排,本文研究團(tuán)隊全程參與安徽省黃山市黟縣2016年年末脫貧攻堅第三方檢測評估,對貧困戶的相關(guān)信息、各級政府部門的扶貧政策有深刻的了解和認(rèn)識,在此基礎(chǔ)上,研究基于大數(shù)據(jù)的精準(zhǔn)扶貧信息化平臺,通過整合財政、教育、水利、就業(yè)、社保、林業(yè)、衛(wèi)生、民政、殘聯(lián)、人行等相關(guān)數(shù)據(jù),利用大數(shù)據(jù)技術(shù)提高數(shù)據(jù)處理能力和效率,深度挖掘數(shù)據(jù)的價值,為扶貧工作提供真實可靠、及時全面的決策數(shù)據(jù),為最終實現(xiàn)精準(zhǔn)扶貧和精準(zhǔn)脫貧提供有力支撐.
2.1 大數(shù)據(jù)技術(shù)
2.1.1 大數(shù)據(jù)技術(shù)優(yōu)勢
大數(shù)據(jù)技術(shù)能夠快捷獲取數(shù)據(jù)隱藏信息,并進(jìn)行分析處理,從而能夠有效節(jié)省成本.在精準(zhǔn)扶貧工作中,通過大數(shù)據(jù)技術(shù)對龐大的貧困戶原始信息進(jìn)行分析、可視化處理,挖掘出有價值信息為精準(zhǔn)幫扶工作提供參考.
2.1.2 大數(shù)據(jù)技術(shù)簡介
大數(shù)據(jù)技術(shù)是針對數(shù)據(jù)采集,處理,可視化等方面的技術(shù),在技術(shù)處理上主要采用Hadoop.Hadoop是使用海量數(shù)據(jù)存儲和計算的軟件框架,該框架采用分布式存儲和分布式計算技術(shù),具有可靠、高效、可伸縮性特點.Hadoop框架包括數(shù)據(jù)存儲(HDFS)和數(shù)據(jù)計算(MapReduce).Hadoop表現(xiàn)在采用并行執(zhí)行機制,具有高效性,并通過添加Zookeeper分布式鎖服務(wù)器,進(jìn)行橫向的擴(kuò)容,因此大大提高數(shù)據(jù)處理效率.
2.2 Hadoop框架的設(shè)計思想
Hadoop框架分為分布式文件系統(tǒng)HDFS、MapReduce處理過程[1].HDFS基于底層,上層為MapReduce引擎.HDFS對數(shù)據(jù)提供存儲,MapReduce對數(shù)據(jù)提供計算.框架最核心部分為HDFS和MapReduce的主從組件,其中名稱節(jié)點和數(shù)據(jù)節(jié)點來自HDFS,MapReduce引擎由JobTrackers和Task-Trackers組成.Hadoop包括數(shù)據(jù)倉庫工具和分布式數(shù)據(jù)庫Hbase,設(shè)計程序可訪問Hbase數(shù)據(jù)庫[2].
本文將大數(shù)據(jù)技術(shù)應(yīng)用于精準(zhǔn)扶貧信息化平臺,該平臺采用MapReduce并行數(shù)據(jù)處理模型實現(xiàn)并行計算,同時利用建模工具對貧困戶相關(guān)數(shù)據(jù)進(jìn)行可視化分析,預(yù)測其下一年度將會發(fā)生的行為,從而及時采取幫扶措施.平臺主要功能模塊為精準(zhǔn)識別、精準(zhǔn)幫扶、“脫貧攻堅”第三方檢測評估,平臺整體架構(gòu)如圖1所示:
圖1 大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺
3.1 精準(zhǔn)識別貧困戶
平臺將財政、教育、就業(yè)等方面的信息進(jìn)行存儲,通過大數(shù)據(jù)技術(shù)并行計算,按照每戶年人均可支配年收入是否達(dá)到脫貧標(biāo)準(zhǔn),家庭是否有因貧輟學(xué)學(xué)生,住房是否為危房等條件精準(zhǔn)識別貧困戶.平臺識別的數(shù)據(jù)來源可以從兩個方面入手:一方面是由每個村對每個貧困戶的信息進(jìn)行采集、甄別和錄入,最后進(jìn)行層層核驗,同時要求各級對自己錄入核驗的數(shù)據(jù)負(fù)責(zé).另一方面,則是要多維度對貧困戶信息進(jìn)行準(zhǔn)確跟蹤,綜合致貧原因、勞動力狀況、住房狀況、子女就學(xué)就業(yè)狀況、政府補貼狀況等指標(biāo),進(jìn)一步做到大數(shù)據(jù)分析、精準(zhǔn)識別.
3.2 精準(zhǔn)幫扶
3.2.1 行為預(yù)測
將被動幫扶轉(zhuǎn)變?yōu)橹鲃宇A(yù)測.為了提高幫扶效率,精準(zhǔn)幫扶,將“處理問題”的思維方式轉(zhuǎn)向“預(yù)測問題”的前瞻性思維方式,利用大數(shù)據(jù)技術(shù)進(jìn)行行為預(yù)測.
3.2.1.1 扶貧需求預(yù)測
通過大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺,著重理解貧困戶與幫扶人之間的交互行為[3],預(yù)測扶貧需求.以安徽省黃山市黟縣部分貧困戶為例,分析貧困戶脫貧的行為.
在扶貧的過程中,了解到貧困戶脫貧對于所需的資源都不盡相同.圖2反映的是貧苦戶的行為相關(guān)信息統(tǒng)計,針對行為特點可以進(jìn)行行為的推測,其中工資收入(X1)、家庭經(jīng)營收入(X2)、財產(chǎn)收入(X3)、轉(zhuǎn)移收入(X4)、生產(chǎn)經(jīng)營支出(X5)、子女教育支出(X6)、醫(yī)療費用支出(X7).
圖2 貧苦戶的行為相關(guān)信息統(tǒng)計圖
軟件分析的結(jié)果是,在這些貧困戶的行為中,以X4為經(jīng)常性動作,X1為偶爾性動作,表明大多數(shù)的貧困戶最需要政府的社會補貼,部分貧困戶脫貧原因是由于自身勞動(導(dǎo)致行為的發(fā)生),根據(jù)預(yù)測,也可以得圖3,其為Y值與X1-X7回歸趨勢,表明X1集中趨勢最為明顯,故為了要達(dá)到脫貧的標(biāo)準(zhǔn),需增加X1.平臺通過預(yù)測貧困戶的行為,關(guān)注其經(jīng)常性動作,了解其扶貧需求.以此達(dá)到整體預(yù)測,精準(zhǔn)扶貧的效果.
圖3 行為信息分析
3.2.1.2 脫貧返貧預(yù)測
平臺數(shù)據(jù)庫存儲海量的扶貧信息,通過關(guān)聯(lián)規(guī)律進(jìn)行預(yù)測,防止脫貧戶再次返貧從而加重扶貧任務(wù)量.以安徽省為例,安徽省貧困戶人均純收入超過3100元的為脫貧戶.本文利用 Eviews7.0軟件對黟縣某一貧困戶脫貧期間(2013-2016年)的行為進(jìn)行分析預(yù)測.輸出結(jié)果如圖4所示,R2統(tǒng)計量顯示值為0.975801,其擬合程度很高,且在顯著性水平0.5區(qū)間下,T統(tǒng)計量、F統(tǒng)計量的P值都極小,說明方程為顯著的,各項檢驗符合,可以進(jìn)行預(yù)測,進(jìn)而得出該戶2017年人均純收入5450元.同樣的對下一年2018年人均純收入進(jìn)行推測為3950元,明顯在貧困戶標(biāo)準(zhǔn)線附近,此時平臺將處理此類信息,為幫扶人提供預(yù)先的幫扶措施,加大幫扶力度,針對拉低其Y值的方面進(jìn)行有效的預(yù)防,防止該戶脫貧戶返貧.當(dāng)預(yù)先采取精準(zhǔn)幫扶措施時,能夠推測出2019年、2020年該戶人均純收入分別為5950元、6020元,已不再徘徊在貧困線附近,認(rèn)為該脫貧戶已穩(wěn)定脫貧.
據(jù)平臺行為預(yù)測,較好地解決了以往靜態(tài)、滯后的目標(biāo)瞄準(zhǔn)問題,同時對貧困戶的動態(tài)變化能夠準(zhǔn)確掌握.
圖4 擬合值輸出
3.2.2 脫貧導(dǎo)向
在大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺中,系統(tǒng)分析模型板塊,利用預(yù)測處理,進(jìn)行脫貧導(dǎo)向從而實現(xiàn)扶貧既“精”又“準(zhǔn)”.根據(jù)扶貧需求搭建資源配置導(dǎo)向,讓每一份資源得到充分的利用,為貧困戶脫貧帶來指導(dǎo).以黟縣某一貧困戶為例,根據(jù)其行為導(dǎo)向,在其醫(yī)療費用支出明顯又上升趨勢時,可以為其導(dǎo)向醫(yī)療資源,幫助其在費用上或報銷上的花費,保證其穩(wěn)定的脫貧.又或是一貧困戶的工資性收入明顯有增高的趨勢,但金額漲幅不大,通過平臺,為其推送企業(yè)相關(guān)招工信息,達(dá)到貧困戶就業(yè)脫貧的目的.同樣的,根據(jù)返貧預(yù)測,平臺將及時采取處理方式,基于其已有的脫貧行為,對其進(jìn)行個性化推薦幫扶措施,以此達(dá)到防止已經(jīng)脫貧人員再次貧困、拉低脫貧效率、加重脫貧任務(wù)的目標(biāo).
大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺的搭建,通過對于貧困戶行為的動態(tài)分析[4],預(yù)測需求,精準(zhǔn)定位資源配置方向,并有效的防止脫貧戶返貧,釋放大數(shù)據(jù)預(yù)測的真正潛能.
3.3“脫貧攻堅”第三方監(jiān)測評估
為推進(jìn)脫貧攻堅政策措施落實到位,確保脫貧成效真實可靠,以安徽省為例,根據(jù)《中共安徽省委安徽人民政府關(guān)于堅決打贏脫貧攻堅戰(zhàn)的決定》(皖發(fā)[2015]26號)精神,按照實現(xiàn)“四個全覆蓋”的要求,建立獨立、公正、規(guī)范的脫貧攻堅第三方監(jiān)測評估機制,年中監(jiān)測評估以脫貧攻堅政策措施落實情況為重點,年末監(jiān)測評估以脫貧成效真實性為重點.
大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺對脫貧戶信息進(jìn)行處理后,通過第三方監(jiān)測評估模塊,由第三方監(jiān)測評估人員將扶貧項目的流程完全透明于全體部門,對各地開展精準(zhǔn)識別、精準(zhǔn)施策、精準(zhǔn)幫扶、精準(zhǔn)脫貧情況進(jìn)行調(diào)查核實、監(jiān)測評估和分析研判.同時,也有利于查缺補漏、改進(jìn)工作,便于客觀了解扶貧工作全局,更有助于總結(jié)經(jīng)驗教訓(xùn).
4.1 扶貧信息共享
國家層面也一直嘗試鼓勵民營企業(yè)和社會資本參與精準(zhǔn)扶貧,通過大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺,不僅可以動態(tài)管理貧困戶的相關(guān)扶貧信息,而且與各民營企業(yè)進(jìn)行數(shù)據(jù)實時共享.通過一定的分類,匹配出社會各組織幫扶有效資源,進(jìn)行按近幫扶、按需幫扶.在緩解企業(yè)短時用工壓力的同時,還可以整合所在地區(qū)貧困戶的可利用勞動力.此外,電商企業(yè)可以上架并促銷貧困地區(qū)的農(nóng)特產(chǎn)品,以達(dá)到消費扶貧的目的.同時通過大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺,可以將優(yōu)秀的扶貧經(jīng)驗分享至其他地區(qū),促進(jìn)精準(zhǔn)扶貧工作的協(xié)同發(fā)展.
4.2 幫扶的雙向選擇
因病致貧,因病返貧是貧困群眾最主要的致貧原因之一,健康扶貧對于整個脫貧攻堅戰(zhàn)有著重要的作用.大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺能為貧困戶提供準(zhǔn)確的醫(yī)療信息.將各類醫(yī)院分別錄入平臺,貧困戶可以根據(jù)自己的病情選擇合適的醫(yī)院,尋求幫助.醫(yī)院也可以通過平臺,根據(jù)自己的醫(yī)療優(yōu)勢選擇貧困戶進(jìn)行幫扶.
教育在促進(jìn)扶貧、防止返貧方面的作用,可說是根本性的、可持續(xù)的[5].可將學(xué)校分為幼兒園、小學(xué)、中學(xué)、大學(xué)、特教學(xué)校等錄入大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺.貧困戶按照自己所需要的學(xué)校進(jìn)行選擇,找到離家最近的學(xué)校.學(xué)校也可在平臺找到自己適合幫扶的貧困地區(qū),進(jìn)行對口教學(xué).
中小型企業(yè)所需的勞動力按照年齡、性別、文化程度、健康狀況、所在地、專業(yè)等錄入大數(shù)據(jù)精準(zhǔn)扶貧信息化平臺.貧困戶可以通過平臺篩選適合自己的工作,企業(yè)也可根據(jù)自己的需要選擇相應(yīng)的勞動力,達(dá)到雙向選擇的目的.
4.3 幫扶信息個性化推送
4.3.1 個性化推送模塊的構(gòu)建
大數(shù)據(jù)精準(zhǔn)扶貧信息平臺將通過個性化推薦來實現(xiàn)精準(zhǔn)化扶貧.對平臺上采集來的數(shù)據(jù)信息進(jìn)行分析之后,基于對貧困戶行為的分析,再設(shè)計個性化的推送服務(wù),向貧困戶推送所需的就業(yè)、醫(yī)療、教育等信息.個性化推薦模塊的總體目標(biāo),根據(jù)貧困戶最新的行為信息,提供對貧困戶信息的分析和處理服務(wù),包括詞頻統(tǒng)計分析、信息調(diào)用、地域要求等,最后為貧困戶推薦他們極其需要的信息.
4.3.2 學(xué)習(xí)與跟蹤貧困戶各方面信息
個性化推送模塊中的功能,如果要達(dá)到個性化服務(wù)的要求,首要的問題就是對貧困戶信息的了解與獲取.一方面要加強與貧困戶的交互,另一方面是構(gòu)造貧困戶興趣模型和個性化推薦算法.
大數(shù)據(jù)精準(zhǔn)扶貧信息平臺個性化推送模塊主要包括以下三個層次:
4.3.2.1 數(shù)據(jù)層
通過平臺將貧困戶與數(shù)據(jù)相關(guān)聯(lián),根據(jù)他們的致貧原因再將貧困戶之間相互區(qū)分開來.通過建立貧困戶的數(shù)據(jù)中心,將每個貧困戶的日常生活習(xí)慣,身體特征,性別年齡,知識能力,愛好性情等進(jìn)行記錄.也就是將除了思維外的一切信息都儲存下來,并將這些數(shù)據(jù)帶入分析層進(jìn)行分析處理. 4.3.2.2 分析層
通過平臺將貧困戶的特征匹配等相關(guān)的邏輯運算,將貧困戶和信息做關(guān)聯(lián),篩選更適合的數(shù)據(jù).將信息資源集中整合起來,把無序的數(shù)據(jù)變?yōu)橛行虻臄?shù)據(jù),即把離散的數(shù)據(jù)整理成可以為貧困戶服務(wù)的數(shù)據(jù),使之方便貧困戶查找信息,同時提高所提供信息的準(zhǔn)確性,節(jié)省時間,提高效率.
4.3.2.3 推送層
構(gòu)建個性化推送與貧困戶交互的通道.將能夠幫助貧困戶的企業(yè)名稱、幫扶機構(gòu)、等方面進(jìn)行推送,該方面將直接影響到個性化推送的利用率,影響著推送的效果.本層是基于與用戶的優(yōu)良互動性,通過主動分析貧困戶行為信息來推送信息.同時,也需要對社會各層構(gòu)建個性化模塊,分析出企業(yè)、機構(gòu)和個人所需的勞動力類型,需要的貧困戶年齡,幫扶條件是否滿足,進(jìn)而為他們個性化推送滿足條件的貧困戶.
這樣的個性化推送模塊通??梢栽诒容^恰當(dāng)?shù)臅r機捕獲到貧困戶最需要的信息,能夠讓貧困戶切身體會到個性化推送模塊的優(yōu)點.同時也大力度的提高扶貧的精準(zhǔn)度,真正的讓用戶集成的大數(shù)據(jù)知識為精準(zhǔn)扶貧做出最大的貢獻(xiàn).
精準(zhǔn)扶貧的工作,關(guān)系到中國成千上萬貧困戶的生活和福利,影響著社會主義建設(shè)進(jìn)程.正如習(xí)總書記強調(diào)的一樣:扶貧開發(fā)工作已進(jìn)入“啃硬骨頭、攻堅拔寨”的沖刺時期.在這不到3年的時間,要確保所有貧困戶全部如期脫貧,可以在精準(zhǔn)扶貧上進(jìn)一步利用大數(shù)據(jù)技術(shù),完善整個扶貧體系,促進(jìn)精準(zhǔn)扶貧工作的協(xié)同發(fā)展,實現(xiàn)偉大中國夢!
〔1〕廖峰.大數(shù)據(jù)環(huán)境下Hadoop分布式系統(tǒng)研究與設(shè)計.
〔2〕VigneshPrajapati著,李明等譯.R與Hadoop大數(shù)據(jù)分析實戰(zhàn).
〔3〕蔣卓軒.基于MOOC數(shù)據(jù)的學(xué)習(xí)行為分析與預(yù)測.計算機研究與發(fā)展,2015(3).
〔4〕莫光輝.大數(shù)據(jù)在精準(zhǔn)扶貧過程中的應(yīng)用及實踐創(chuàng)新.求實,2016(10).
〔5〕劉傳鐵.教育是最根本的精準(zhǔn)扶貧.人民日報,2016-01-27(05).
TP391
A
1673-260X(2017)05-0018-03
2017-01-04