淺析大數據技術在精準扶貧工作上的應用研究

余長江 鄒帥 邱斌 孫浩

摘要：大數據技術因其數據化、網格化與動態化等特點與精準扶貧的機制要求相契合，數據扶貧成為了實現精準脫貧目標的可行路徑。該文通過采用大數據算法如聚類分析、ARIMA回歸等算法，從系統功能設計、系統架構及技術實現內容等方面分別進行了綜述，該研究成果在新疆“訪惠聚”駐村活動的精準扶貧實踐中，進行了試點建設并取得了成效。

關鍵詞：大數據;精準扶貧;數據扶貧

中圖分類號：TP311? ? ? 文獻標識碼：A? ? ? 文章編號：1009-3044（2018）34-0006-03

1 立項選題的意義

我國扶貧工作開始于上世紀80年代中期，通過不懈努力取得了舉世公認的輝煌成就，但是長期以來貧困居民底數不清、情況不明、針對性不強、扶貧資金和項目指向不準的問題較為突出，2014年1月，我國政府詳細制定了精準扶貧工作模式的頂層設計，推動“精準扶貧”思想落地，全國各地先后全力開展內容廣泛的精準扶貧工作。隨著對精準扶貧的進一步闡釋與發展，精準機制的要求更為具體細致，大數據技術因其數據化、網格化與動態化等特點與精準扶貧的機制要求相契合，數據扶貧成為了實現精準脫貧目標的可行路徑，大數據技術開始在精準扶貧的全國各地、各個領域開展試點。

在扶貧工作中，存在信息化程度低、數據不完善、監管機制不明確、信息孤立缺乏共享等問題，缺少對貧困人口的致貧原因、幫扶項目、實施流程以及扶貧成效反饋之間的動態歸納，靜態滯后的工作方式開展扶貧很難達到貧困人口的準確識別。在精準扶貧實踐中，嘗試通過構建農村精準扶貧大數據支撐云平臺，打通扶貧相關多部門數據，運用大數據和人工智能等技術建立貧困人口特征模型，實現貧困人口精準識別、精準分析、扶貧效果趨勢預測等功能，助力精準扶貧工作具有很強的現實意義。

2 主要研究內容

通過“互聯網+”和大數據分析的技術實現思路，基于國務院貧困人口建檔立卡數據與其他政府已有扶貧相關內部數據（包括公安人口基本數據、教育貧困生數據、民政數據、衛生部門貧困人口醫療數據、社保社保數據等），再結合從互聯網上爬取的相關外部數據（包括人口關聯信息、貧困地區歷年受災情況、教育資源分布地圖等），研究對扶貧緊密相關的內外部數據進行有機融合，清洗、整理，并交叉驗證、比對識別出重要數據，挖掘其中深層次信息，實現信息共享和業務協作功能，對扶貧幫扶過程中三個重要階段（識貧、扶貧、脫貧）的現狀和需求進行監控、數據挖掘、統計分析以及可視化的展現，研究為扶貧工作人員提供切實有效的工具，為扶貧領導層提供直觀的決策數據支撐。

3 系統架構設計及主要技術實現

3.1 系統架構設計

系統整體架構通過分層設計、模塊化組合的整體設計思路，包含用戶及權限服務、界面服務、算法服務、數據存取服務、離線計算服務、數據同步服務等微服務，含安全路由網關、分布式高速共享緩存、分布式消息隊列、注冊中心、配置中心、監控中心、日志中心、關系數據庫、KV數據庫、全文搜索引擎、圖數據庫。系統架構設計如圖1所示。

微服務通過虛擬容器集群管理平臺進行服務器部署，相同功能微服務可以部署多個副本進行負載均衡，可以根據業務量規模大小進行橫向擴展，支持滾動式服務升級。

路由網關提供對網WEB服務，結合用戶及權限服務提供鑒權、授權功能保證內網接口訪問安全性，通過高速共享緩存共享用戶會話信息，可通過VRRP協議部署多臺達到高可用的目的。

注冊中心用來注冊與發現微服務。

分布式消息隊列用于微服務間的通信，配置中心、監控中心、日志中心也通過消息總線與所有微服務進行通信。

配置中心用于所有微服務的在線配置，可通過版本服務器對微服務進行在線配置與環境的進行無縫切換。

監控中心用于所有微服務的斷路器狀態監控、分布式鏈路跟蹤，可通過WEB監控界面及時發現微服務的功能及性能問題。

日志中心用于收集所有微服務的日志，可通過WEB界面進行任意篩選與報表，可用于故障定位或用戶操作日志分析。

關系數據庫存放系統所需的關系型數據，通過主備份或主從備份達到高可用目的。

KV數據庫存放系統所需的Key Value類型的非結構化數據，采用集群的方式可提高存儲與檢索的速度，同時達到可伸縮、高可用的目的。

全文搜索引擎用于對結構化或非結構化數據進行索引并存儲，采用集群的方式可提高索引與檢索的速度，同時達到可伸縮、高可用目的。

圖數據庫用于存儲貧困戶、貧困家庭、社會關系，采用集群的方式可提高存儲與查找速度，同時達到可伸縮、高可用目的。

3.2 系統技術實現

通過對大數據分析模型所需的數據源的實地情況調研，通過架構分層，明確大數據平臺從數據采集、整合、共享以及管理全流程所需技術，完成農村精準扶貧大數據支撐云平臺的架構設計，系統提供數據存儲，高效實時的數據關聯分析、計算、數據挖掘的能力，并提供查詢、檢索和可視化功能，如圖2所示。

數據采集技術，根據數據類型不同，采集技術上可以采用Sqoop、Flume、Data X、Emcd等成熟工具和技術，將傳統關系型數據庫、文件、消息等類型的數據采集到大數據平臺接口層。滿足跨平臺的數據交互，如Hadoop、Oracle、MySql等平臺間的交互，在數據采集過程中會對數據進行稽核校驗。

數據計算技術，數據到達接口層后，按照實時與離線批處理場景，進行分類計算整合，形成扶貧數據整合層。

數據存儲技術，采用分布式文件系統HDFS、Hbase、Mysql等混合存儲技術，滿足不同數據存儲需要。

資源管理技術，在集群管理方面引用Yarn開源平臺對多用戶以及多隊列實現虛擬CPU、內存按照FIFO、Fair的方式進行任務調度和資源管理。在權限方面則通過Ranger對用戶訪問權限進行細粒度控制。

3.3 系統關鍵技術

3.3.1 聚類分析算法

聚類分析一種建立分類的多元統計分析方法，根據在數據中發現的信息，將數據對象分組。

K均值聚類是一種比較流行的聚類算法，這種算法的基本思想是將每一個樣品分配給最近中心的類別中，算法包括以下步驟：

1）將所有樣品分為K個初始類;

2）通過歐幾里得距離將某個樣品劃分到離中心最近的類別中，并對獲得樣品與失去樣品的類重新計算中心坐標;

3）一直重復第二步，指導所有樣品不能再被分為止。

4 系統功能實現

農村精準扶貧大數據支撐云平臺實現的功能眾多，由于篇幅有限，以下就主要的核心功能進行簡要描述。

4.1 前端APP數據采集與交互

精準扶貧APP功能依托于精準扶貧中間件和應用后臺管理系統的支撐，在手機上為扶貧人員提供貧困戶數據實時動態采集更新、實時統計分析、實時比對預警等功能。具體包括核心功能展示、掃一掃、對象查詢、數據統計、動態異常預警、教育指數、個人中心等。客戶端可通過條件篩選、鎖定范圍，對貧困人姓名進行搜索或直接鍵入身份證號，一鍵查詢貧困人員資料、幫扶干部、幫扶計劃等，可通過所選區域范圍查詢出該區域內所有貧困戶列表，包括其貧困戶性別、年齡結構、致貧原因、扶貧指標等信息，并對統計結果簡單分析，扶貧工作人員通過該功能可快速了解每戶扶貧整體狀況。其中通過“掃一掃”，掃描貧困戶身份證，通過OCR技術自動識別身份證信息，通過貧困人口身份代碼的唯一性，關聯出身份信息對應貧困戶建檔立卡資料和其他部門關聯數據，展示數據比對信息。通過貧困人口身份代碼的唯一性，可以把扶貧措施、扶貧效果、政策性補助等歸集到同一貧困對象，提高扶貧干部的工作效率。

4.2 貧困人口畫像

貧困指數是一種常用的衡量社會公平程度的指標，基于阿瑪蒂亞·森的貧困指數理論，利用精準扶貧主題數據庫中的家庭成員數據、醫療健康數據、住房數據、教育數據，基于大數據技術，對家庭人口特征、人口規模、收入狀況、健康狀況、住房及產權條件、生活條件、資產狀況、受教育水平和職業等方面的信息進行匯總分析，憑借模型算法為每一個維度的數據設置不同的權重，生成貧困指數形成評估貧困目標的貧困等級。脫貧指數依托獲取目標區域數據（包括區域輿情信息、區域教育資源分布情況、區域歷年受災情況），再圍繞貧困對象扶貧維度，分別以幫扶力度、健康狀況、消費層次、收入來源、交通條件、受教育程度、以及地域發展程度的多重數據，結合算法模型輸出相應指數，反映出某一地理空間中貧困目標脫貧潛力的概率。

基于扶貧數據主題庫，通過直觀化的指數形式，研究建立全維度的貧困人口畫像，采用偏度-峰度法，對偏度和峰度兩個指標來檢查樣本是否符合正態分布。研究建立關聯關系圖譜，提取民政人口數據、醫療健康數據、社保數據，通過對以上數據交叉驗證、對比識別，對目標貧困戶所有直系或非直系親屬的人口數量、人口特征、收入水平等數據進行維度關聯，確立貧困人口關聯關系，建立目標貧困人群與潛在幫扶資源的關聯性分析，提供個性化扶貧資源整合建議。扶貧人員可利用扶貧對象畫像，快速精準評判貧困戶的貧困程度和脫貧成效，同時挖掘貧困戶的家庭關系和社會關系圖譜，有效識別貧困對象和預防假脫貧。

4.3 扶貧資金流向監測預警

通過接入政府內部數據、融合外部數據，對“政府”“扶貧地區”及“扶貧項目”三個維度進行關聯，通過統計圖表或數學方法，對數據資料進行整理、分析，并對數據的分布狀態、數字特征和隨機變量之間關系進行估計和描述。針對數據特征，結合區域動態走勢甄別與量化工具，找出數據的基本規律。扶貧工作人員可清晰直觀地了解了政府扶貧資金從發放到落實再到區域經濟改善的整個過程流勢，以及項目是否存在問題。同時對該圖譜信息的分析來達到對整個扶貧資金發放流程的監管及預警，實現監管預警全覆蓋。

4.4 扶貧區域評價

扶貧區域評價是對精準扶貧、小范圍扶貧的宏觀的整體性扶貧評價。基于貧困指數、脫貧指數以及政府扶貧措施、政府招標采購數據等一系列的扶貧手段和力度，利用平臺中已有數據，并對區域GDP、人均收入、產業結構、區域地理條件、交通、資源結構等數據進行整合分析和挖掘，通過發展指數和貧困指數的變換情況可以反映出扶貧措施的實施效果，每一項扶貧措施的所有數據都會與指數相關聯，扶貧措施影響指數的變化情況讓決策者清晰直觀地看到措施的實施效果，最終客觀準確的評估扶貧區域的扶貧評價。主要的扶貧質量指標包括如貧困人口變化率（%）、貧困地區農民人均純收入增長率（%）、貧困地區農民人均生活消費支出增長率（%）、無房戶或住危房農戶的下降率（%）、義務教育輟學率降低幅度（百分點）、有合格衛生室村的增長率（%）、貧困地區貸款余額的增長率（%）等。

4.5 扶貧趨勢預測

貧困對象預測，根據主題數據庫中戶口、就醫、土地、生產資料、生活設施等信息，結合外部數據收入來源、人均消費、區域資源等信息，對扶貧區域貧困對象識別。通過線性回歸、LR、ARIMA等算法，依據歷史數據預測未來貧困狀態的值，識別因災致貧、因病致貧等貧困人口，動態地預測其貧困情況。扶貧人員根據該預測制定專項幫扶措施，提前進行醫療救助、助學救助、殘疾救助、就業幫扶、產業發展等;同時就貧困區域預測，為扶貧領導提前制定區域政策提供數據支撐。

脫貧對象預測，對主題數據庫中貧困戶的戶口，土地，生產資料，生活設施等信息，結合外部數據收入來源、人均消費、區域資源、技術反饋、健康狀況等數據，通過大數據挖掘分析，對其是否脫離貧困的可能性進行科學的算法預測。扶貧人員依據脫貧預測結果，優化幫扶措施，進行扶貧資源配置側重和優化。

返貧對象預測，對脫貧戶建立脫貧檔案，并對脫貧戶的貧困指數進行定期監控，通過回歸分析算法實現返貧對象識別，若監測到脫貧戶的運作異常則立即發送返貧預警。扶貧人員通過返貧預測，及時知曉返貧預警并制定相應解決措施。

4.6 扶貧人員工作評價

系統實現對扶貧干部工作的評價，對扶貧辦工作人員建檔立卡，實時定位干部，回溯干部扶貧走訪軌跡，通過機器深度學習，篩選出扶貧工作人員的工作評價，形成工作成效積分量化考評依據。

5 結束語

基于大數據技術特點與精準扶貧工作的契合特點，開展數據扶貧的應用研究并將該成果應用在新疆“訪惠聚”駐村活動的精準扶貧實踐中，通過構建農村精準扶貧大數據支撐云平臺，打通教育、民政、衛計、人社、公安、水利、農業等13個部門數據，對扶貧工作進行全過程的信息化支撐，取得了很好的應用效果。

參考文獻：

[1] 劉洋. 層次混合存儲系統中緩存和預取技術研究[D]. 武漢： 華中科技大學， 2013.

[2] 傅穎勛， 羅圣美， 舒繼武. 安全云存儲系統與關鍵技術綜述[J]. 計算機研究與發展， 2013， 50（1）： 136-145.

[3] 鄧維杰. 精準扶貧的難點、對策與路徑選擇[J]. 農村經濟， 2014（6）： 78-82.

[4] Liping Xiang， Yinlong Xu， John C S， et al. A Hybrid Approach to Failed Disk Recovery Using RAID-6 Codes[J]. ACM Transactions on Storage（TOS）， 2011（3）： 1-34.

[5] 刁瑩. 用數學建模方法評價存儲系統性能[D]. 哈爾濱： 哈爾濱工程大學， 2013.

[6] 汪三貴， 郭子豪. 論中國的精準扶貧[J]. 貴州社會科學， 2015（5）： 147-150.

[7] 李勇. 異構存儲系統中的緩存技術研究[D]. 武漢： 華中科技大學， 2014.

[8] 孟小峰， 慈祥. 大數據管理：概念、技術與挑戰[J]. 計算機研究與發展， 2013， 50（1）： 146-169.

[9] 田敬. 對等存儲系統中的數據可用性與安全性研究[D]. 北京： 北京大學， 2007.

【通聯編輯：謝媛媛】