基于大數據的“三農”信息個性化服務平臺研究

吳達勝，李震華

(1.浙江省林業智能監測與信息技術研究重點實驗室，浙江臨安 311300； 2.浙江農林大學信息工程學院，浙江臨安 311300；3.浙江農林大學繼續教育學院，浙江臨安 311300)

“三農”是農村、農業、農民的簡稱，在這3個概念范疇內所反映的問題就是三農問題。我國是農業大國，農村發展、農業興衰、農民生活均關系著國家的穩定和發展。保障農民增收、農業增長和農村穩定是政府的重要職責。隨著農村城市化進程的推進，農業過度生產、農村勞動力過度循環、農產品跨區域流通、農民工大批量涌入城市、農村剩余勞動力減少、農業收入下降等問題也相繼出現[1]。在我國廣闊的農村尤其是偏遠山村地區，交通不便利、基礎設施不完善、經濟相對落后等問題嚴重影響著農村居民的生活[2]。

隨著社會、經濟、生態的發展變化，我國居民的消費結構不斷升級，人均消費標準不斷提高。農產品的品種多樣性、季節變化性、區域結構不平衡性等方面的問題突出，農產品的產需地理錯位分布嚴重。可供農民選用的有效資源遠遠不足，農業信息技術成果的推廣應用還不能很好地滿足農業和農村經濟發展的需求。由于缺乏統一性、全局性、規范性，農產品市場的營銷脈絡往往不夠完善和通暢。農產品地區封鎖盛行，人為制造貿易屏障，社會交易成本居高不下，使市場的價格發現功能無法盡情發揮，導致買賣價格差異顯著、相對供需矛盾突出[3]。傳統的多流通環節的銷售模式，導致產生農產品“賣者無高價、買者無低價”的怪異現象。若能開發和推廣應用專業性更強的農產品淘寶平臺，讓更多的農產品從線下走到線上，促使流通環節扁平化，則能有效解決其產需錯位問題。

城市化進程的大力推進，使大批農民工涌入城市，從而使農村勞動力缺失問題凸顯。農產品季節性生長的特點，也使得在家務農者閑時無事做、忙時不能休。在農忙時節，如在大量的蔬菜、水果等的栽種和采摘季節，需要大量勞動力的短期投入。當然，若能通過有效的方式形成農村勞動力聯盟，不同季節的農產品種植者可以互相借力，則不僅可以保證農民“閑時有事做、忙時亦能休”，同時還可增加農民的勞動收入。要解決這一問題，仍然要借助信息技術，利用淘寶網的思維，讓農村勞動力在網絡上進行流通和交易，這樣的勞動力聯盟就不再是局部的，而是全國的甚至是跨國的。

科技創新是我國農業發展的主要源動力，重大新品種、新技術的創新突破為我國農業增產、農民增收作出了卓越貢獻。但事實上，我國目前農業科技成果推廣效率仍然比較低，主要原因之一是在實際推廣過程中忽略了農民對技術的需求意愿，推廣工作與農民的實際需求存在較大脫節[4]。換言之，即農業知識的需求方與供給方尚未進行有效對接。隨著科技的發展，以大規模培育和生產農產品為主要經營目標的農民如何應用更加豐富和更加實時的農業知識和技術來武裝自己也成為當務之急。當今世界無疑是一個數據和知識爆炸的世界，但想要從中找到用戶想要的數據和知識卻非一件易事，尤其是作為文化程度相對較低的農民階層來說，想要從數據的海洋里找到自己想要的知識就更加困難了。從技術的角度來說，若能主動出擊，智能化地追蹤農民個人的信息及其在網絡的浩瀚海洋中苦苦搜索的蛛絲馬跡來揣測用戶的真正目的，并主動、實時地推薦其所想要獲取的知識，無疑對農業知識的推廣、農民素質的提升有重大意義。

隨著信息的爆炸式增長，“大數據”一詞越來越成為人們關注的熱點與焦點。“大數據”是指以多種形式，從多種來源搜集而來的龐大數據組[5]。大數據具有數據來源的多樣性、數據增長的劇烈性、數據規模的龐大性、數據價值的時效性、數據之間的關聯性等特點[6]。大數據時代是一個數據呈幾何級增長的時代，幾乎涉及日常生活中的方方面面。“三農”大數據信息來源駁雜，數據類型多樣，用戶群體基數龐大。

隨著網絡信息不斷涌現，信息量呈指數級增長，導致用戶無法在如此多的信息中快速準確地找到自己所需的信息[7]。在“大數據”時代下的電子商務環境中，個性化商品推薦已經成為電子商務站點維持老客戶、吸引新客戶的重要手段[8]。借助大數據及相關技術，人們可以對產品進行有針對性的營銷，能更快地將產品推薦給合適的客戶，完成個性化精準化營銷[5]。為了農產品更長遠的發展，農產品營銷的過程中也須要借助“大數據”等信息技術，這樣才能在動蕩變化的市場中及時地取得消費者的產品訴求，同時依據大數據的信息形成有針對性的銷售方案，全面滿足不同顧客的需求。在大數據的背景下，利用一些職能化產品和電商網站獲得消費者的個人偏好信息，同時對有關數據進行分析來對消費者群體進行預測，創造出一種能夠滿足大眾需求的個性化營銷策略[5]。農業知識、農村勞動力等同樣可以利用“大數據”技術實現個性化推薦。

1 “三農”個性化服務平臺功能架構

在“三農”領域中，根本的服務對象是農民，而農民最關心的是如何能夠快速便捷地找到自己想要找的人、物、知識。同時，系統若能提高智能化程度，盡可能挖掘農民的潛在需求，主動地推薦一些個性化的服務，這樣的平臺無疑是更受廣大農民朋友歡迎和喜愛的。本研究構建的“三農”個性化服務平臺功能架構如圖1所示。

1.1 淘人

淘人網的建設有助于推動人力資源無形市場的形成，解決人才供需脫節問題，推動人才服務供給側改革[9]。不同于其他工業企業的人才市場，“三農”人才需求具有規格難以統一、季節波動性大等特點，因而無法通過定期的人才招聘方式進行需求雙方的有效對接。而且，人才的需求方在不同地域、不同季節可能又是人才的供給方，這種動態變化的需求市場需要更實時的方式來體現。“三農”淘人網借助淘寶網的思維，將“三農”人才的專業特長、工作經歷、用工價格、為人信譽、綜合評分以實時的方式體現在網絡中，讓需求方可以隨時隨地獵取供給方信息。同時，通過大數據挖掘技術，系統可以將優秀人才自動推薦給潛在需求方，讓需求方以簡易的方式獲取需求對象或進一步明確自己的需求，從而可以快速、最大限度地匹配自己的心理需求，實現人才供求雙方的有效對接。

1.2 淘物

這里的“淘物”指的就是農業物資和農產品的電子商務，即通過技術手段刺激需求增長，從而推動農業物資和農產品快速、扁平化、個性化的供需對接。在大數據背景下，農產品消費者消費心理和行為模式發生了很大變化，他們在購物過程中更加個性化、主動化和移動化。營銷者一方面要面對顧客知識增加、差異性增大、信息價值日益稀疏化以及顧客關系管理成本的不斷提高；另一方面，要面對農產品生產加工的季節性強、地域差別大、地區消費特征各異、時效性強、物流成本高等特點，這就要求營銷者必須進行營銷理念的革新，由傳統的消費者被動接受營銷手段轉變為讓消費者全程參與整個營銷過程，以海量數據庫和大數據平臺為基礎和支撐，從營銷戰略、營銷組合及營銷效果評估等方面創新傳統營銷模式，構建大數據環境下的農產品精準營銷模式[10]。

1.3 淘知識

農業產業結構優化升級離不開高質量的知識服務。現代生產要素和經營模式向農業輸入的過程，就是現代生產知識和管理知識向農業的一種注入，這些都離不開知識服務的過程和知識支撐[11]。通過農民大學、農民學院、農民學校等多層組織機構協同培訓，可以有組織地、成規模地對接農業專家及農民之間的知識需求，同時，這些服務機構在長期培訓過程中積累了許多有價值的、豐富多彩的“三農”知識。但是以傳統線下為主的培訓方式因受到時間、空間等因素的限制，難以在短時間內將這些知識進行更大范圍的傳播，從而限制了其應用面。若能將這些知識及時充實到“三農”大數據中心，通過農業知識與農民需求之間關聯規則的深度挖掘，主動出擊，智能化地追蹤農民個人信息及其在網絡的浩瀚海洋中苦苦搜索的蛛絲馬跡來揣測用戶的真正目的，并主動、實時地推薦他們所想要獲取的知識，就能將不同的“三農”知識推薦給不同的農民群體，讓他們在不經意間受到熏陶和啟發，從而迅速提升他們在自己所從事的農業行業中的理論和技術水平，與此同時，通過這些農民可以將知識進行更大范圍的傳播，從而使“三農”知識以加速度的方式進行輻射。

2 基于大數據的“三農”信息個性化服務平臺技術架構

“三農”信息個性化服務平臺基于Hadoop的大數據處理技術框架(圖2)。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。該框架的核心是Hadoop分布式文件系統(hadoop distributed file system，簡稱HDFS)和映射/化簡(map/reduce)。HDFS為海量的數據提供了存儲，可部署在低廉的硬件[如普通的個人計算(PC)]上，通過將數據冗余地存儲在多個硬件設備的內存里以提供高容錯性和高吞吐量，適合超大規模數據集的高并發訪問和處理。HDFS以分布式文件系統實現了大數據的分布式存儲。Map/Reduce為大數據提供了計算方式，其實現過程為首先將1個大的任務打碎成多個碎片任務(Map)，并將這些Map發送到多個節點上，然后通過Reduce將各個分散在節點上的數據集進行抽象加工并加載到數據倉庫中。

在這樣的架構中，服務器集群僅僅起到協調任務的作用，而真正的存儲和計算是分布在各個節點上進行的，因此真正意義上的服務器設備并不需要很多。各地的農業服務部門都有自己的計算機節點，這些節點只須按照Hadoop的配置方式進行配置，則彼此之間可進行互訪互通，就如同一個整體，因此可以大幅度提高并行計算能力及分布式存儲能力。在此基礎上可實現快速的淘人、淘物、淘知識等服務，同時也可實時計算各用戶需求，從而將服務進行主動推送，使該信息服務平臺快速地達到個性化和智能化。

3 “三農”信息的個性化推薦流程

“三農”信息的個性化推薦流程(圖3)包括用戶需求的實時計算、定期更新農產品推薦表、個性化推薦等3個部分。

用戶需求的實時計算，根據用戶的屬性數據(年齡、性別、學歷、職業等)及其行為特征(上網頻率、關注內容等)建立動態特征向量。

系統根據農產品分類信息初始化一系列推薦表，分布式存儲在各節點中，隨著用戶需求的變化定期更新推薦表組合。

在個性化推薦過程中，首先進行農產品及用戶特征的相關度評價，再初始化推薦信息，并根據一定的規則進行過濾、場景排名、推薦解釋等產生最終推薦信息，最后將其發送給用戶，因而用戶看到的總是自己感興趣的“三農”信息。