以大數據分析技術促教育精準扶貧

摘 要 精準扶貧是具有針對性和科學性的扶貧新措施。在高速發展的信息化社會中，精準扶貧不在僅限于單一拘謹的模式，開始與大數據概念相融合，尤其在高校學生中，利用大數據種類的多樣性、速度的高效性和信息的真實性切實的將學生精準分等級。用大數據實現精準扶貧、確實脫貧是未來教育精準扶貧的發展方向，本文將對大數據如何幫助落實教育精準扶貧進行深入分析，為早日實現全面脫貧提供參考。

【關鍵詞】大數據 精準扶貧 高校 技術平臺

1 背景

消除貧困、改善民生，一直是我國孜孜不倦追求的成果，自我國1986年開始扶貧工作以來，已經進入30多個 年頭，資助工作取到了巨大成效。但是仍有部分貧困地區的人生活水平較低，多年來我們對貧困戶的統計是統計部門及相關部門在農村抽樣調查得出的數據，但是對于“誰是貧困戶”，“貧困原因何在”、“如何幫扶”仍然沒有準確的結論。于2013年習總書記首次提出“實事求是、因地制宜、分類指導、精準扶貧 ” 的重要指示，推動了“精準扶貧”思想的落地，而扶貧方式也開始由“漫灌”向“滴灌”轉換，而對于高校學生，生源層次各不同、地點各不同，活動軌跡各不相同，這就產生了大量分散的數據，如何做到教育精準扶貧就成為了首要問題。

2 大數據監測和評估為科學決策提供支撐

大數據分析技術能夠建立“用數據說話、用數據決策、用數據管理、用數據創新”長效機制。大數據（big data，mega data），或稱巨量資料，指的是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據的、多元的數據進行分析出最接近事實的結果，而 阿里巴巴創辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技，大數據模型及分析技術的不斷發展為科學扶貧奠定堅實基礎。采用大數據手段采集與貧困人員、扶貧項目等內、外部的相關數據，健全貧困監測指標體系，可真實、準確、科學、合理地評估貧困地區、貧困人口狀況及扶貧項目效益，為制定科學扶貧政策提供數據支撐。進一步做到在“大數據”支撐下“精準到人”，提高精準扶貧的準確度及加速扶貧步伐。

3 分析關聯數據

事實上高校的在校生人數眾多，而高校學生的活動軌跡大多也是在校園內，一個大學生肩上是一家人的希望，因為一個大學生在校的消費情況基本可以反映出一個家庭的經濟情況，比如學生在校園中使用的是磁卡消費，例如飯卡、水卡、洗浴卡等。學生刷卡消費存在消費記錄，消費了多少，在那個時間進行的消費，這些都儲存于刷卡機上。利用大數據捕捉、挖掘、分析學生留下的數據的痕跡，便可揭示其背后隱藏的規律。通常家庭條件差的學生往往勤儉節約，他們知道父母掙錢的不易，所以他們基本只重量不重質，不求吃的太好，能吃飽就行，因此這類學生的消費會比一般學生低，而且這類學生沒有吃夜宵的習慣，甚至有的連早餐都不吃，因為這樣他們在相同的時間段里，消費次數也會比家庭條件好的學生少。此外，現在的學生都熱衷于網上購物，閑來沒事總會逛逛淘寶、京東、唯品會等網上購物平臺，同樣的，通過大數據可以獲得學生們的網上購物記錄，了解他們購買商品的價格和次數，和刷卡消費一樣，家庭條件差的同學消費次數及金額應該會比較低。另外學生的微博、朋友圈等發布的消息可爬蟲獲取關鍵字，從而判斷同學的生活情況。諸如此類，利用大數據獲取并分析這些數據，便可大致知曉貧困學生，從而制定一系列保護學生隱私的幫扶措施。

4 大數據技術提供平臺

4.1 大數據平臺實現的功能

大數據平臺要能實現實時歷史數據分析、數據查詢、數據統計、數據分析功能，主要為學生歷史消費記錄、學生朋友圈歷史關鍵字、瀏覽網頁歷史數據進行查詢、統計及分析；結合班主任及資助部門掌握情況進行綜合分析。

4.2 構建大數據平臺的重要性

隨著歷史數據不斷沉淀及數據源的廣泛，數據量大及廣，因此建立大數據平臺，可以對學生的具體情況，做出快速、精準的分析，必須通過分布式處理框架Hadoop的架構，實現低成本的數據分布式存儲及分布式并行計算的技術手段。

4.3 大數據平臺采用Hadoop大數據框架

Hadoop是Apache開源組織的一個分布式計算開源框架，起源于開源的網絡搜索引擎Apache Nutch，包括分布式文件系統HDFS、并行計算框架MapReduce、Hadoop生態系統相關組件：Avro、Pig、Hive、HBase、Zookeeper、Sqoop等。如圖1所示。

4.4 數據分析在大數據中的應用

MapReduce計算模型主要分為兩個階段，第一個階段將各方數據并行輸入數據分區，執行分組操作；第二階段對第一階段的生成數據分組結果進行聚合，并輸出。在Hadoop系統框架中，對每個數據分片啟動Map任務，在每個Map任務中，根據Map應用函數進行數據處理，同時對Map階段的中間數據根據Reduce任務數量進行中間結果分片處理，最終輸出存儲到本地文件系統的臨時文件中，啟動Reduce任務獲取Map任務輸出的水質監測分片數據，并合并到本地文件系統臨時文件中，然后對合并后的臨時數據進行Reduce再排序處理，最后合并所有的Reduce任務結果并輸出。

完成數據文件分片處理后，數據分片大小按照不大于HDFS分塊大小設置的最大分片大小（有Hadoop配置文件中mapred.max.split.size文件設置），不小于最小分片大小（有Hadoop配置文件中mapred.min.split.size文件設置），數據分區后進行范式化，轉化為鍵值對格式，作為Map階段數據輸入。

FeleInputFormat.addPath（“PathFile”）//獲取各類的數據存儲路徑endprint

SplitSize（long blockSize，long minSize，long maxSize）

{

Return Math.max（minSize，Math.min（maxSize，blockSize））；

}//數據分片大小

Map階段主要是利用Map函數將我們所要關注的數據，并轉環為鍵值對的形式，存儲為中間結果。Reduce階段主要是對Map階段中間結果進行處理，Reduce函數主要負責匯總所有任務的處理結果從而得到作業的結果。執行Reduce任務首先先將一份程序work從Master獲取這些文件的位置信息，通過HDFS的RPC調度獲取這些Key/Value對，worker迭代處理整個排序后的Key/Value對數據，將每個Key和它所對于的Value序列送入reduce函數中進行處理。最后reduce函數將處理完成的結果輸出到文件進行儲存，當同一個Map和Reduce任務執行結束后，worker會通知master，進而由其喚醒用戶程序，直到用戶作業執行完畢。

5 大數據推動精準扶貧

在我國“大數據”、“大扶貧”的戰略目標下，自習主席于2013年在十八洞村首次提出精準扶貧的概念后，全國各個部門深入探索如何精準，在這樣科技發展的契機下，大數據推動精準扶貧必然是趨勢，利用大量的數據、多渠道來源的種類繁多的數據，通過大數據技術手段，經過數據存儲、數據清洗、數據分析；從而得出更為精確的數據評估，同時幫助精準扶貧戶畫像、財產分等級、做出更加適合因人而異的扶貧方案。真正實現扶持對象精準、資金使用精準、招生對象精準、培養過程精準、就業輔助精準、脫貧成效精準等六個精準的精準扶貧，助力貧困學生無后顧之憂完成學業。

6 結論

教育強則中國強，職業教育更多的是幫助農村學生、幫助家庭貧困的學生，在教育精準扶貧的領域，有了大數據技術的助力，勢必會取得更好的成效，把幫助給予最需要的人，對貧苦對象精準識別，識別后精準幫扶，完成精準扶貧政策的最初構想，實現億萬中國人民幸福生活的偉大中國夢！

參考文獻

[1]大數據視角下的精準扶貧現狀剖析（摘要、背景）.

[2]鄭瑞強，曹國慶.基于大數據思維的精準扶貧機制研究[J].貴州社會科學，2015（08）：163-168.

作者簡介

王鈺（1986-），女，陜西省人。碩士學位。副教授。主要研究方向為計算機網絡及大數據。

作者單位

貴州工業職業技術學院 貴州省貴陽市 550008endprint