大數據與人工智能技術在糧食行業決策分析中的應用實踐

文/張浩林

某智能糧庫操作系統 劉博文/攝

近些年來，我國糧食生產持續豐收，糧食安全態勢總體持續向好。但對于中國這樣一個超過13億人口的超級大國，糧食安全任何時候都不可放松。雖然在總體產量上相對安全，但也存在糧食品種結構不合理，糧食品質依然有待提高，離人民期望的由“吃得飽”到“吃得好”的目標還有距離等問題。同時，加上諸多容易造成局部不安全的外在因素，我們在樂觀地看到中國糧食相對安全的同時，也要謹慎地看到這種相對安全態勢脆弱的一面。

確保糧食安全，確保任何時候中國人的飯碗都始終端在自己手上，一方面需要高度重視農業產業，另一方面要通過科學種糧、科技興糧、合理用糧來保證糧食數量充足、質量可靠。同時我們還要能夠合理地分析和研判全國及各區域的糧食安全態勢，及時發現并解決可能存在的不安全問題，以確保糧食始終是人們生活中的基礎物資而非稀缺資源。

大數據與人工智能技術的興起，正好為分析研判糧食安全形勢提供了新思路和手段。成都數聯銘品科技有限公司作為以大數據分析見長的新型科技類公司，承擔了國家糧食管理平臺中智能決策中心的系統建設，旨在通過大數據與人工智能技術，為糧食行業的監測、預警、預測和決策提供新思路、新手段和新工具。

智能決策中心以糧食行政管理部門提供的數據為依據，結合爬取的外部互聯網數據，基于行業科學的分析方法和歷史經驗，采用大數據和人工智能技術，構建了安全形勢總覽、政策推演、重大效果評估、重大數據研判、智能糧食監管、智能信息服務等多個業務模塊和系統功能。由此為糧食行業的決策分析提供新的手段和工具。

一、糧食安全形勢總覽

安全形式總覽主要為用戶把握國家糧食安全總體形勢、研判區域糧食安全具體情況提供支持工具。

由于糧食安全評價牽涉因素眾多，不僅涉及到糧食產量、質量等直接因素，還涉及到各區域人口、飲食結構、自然災害等間接因素，同時也還涉及到國際糧食市場價格等外圍因素等等。為盡量做到科學全面地評價我國糧食整體及區域性安全態勢，我們充分借鑒國內外行業專家的研究成果和經驗，主要基于糧食生產、存儲、加工、人口、消費、氣象等多維度數據，綜合運用多種形勢研判、擬合預測等模型，從多個方面對全國糧食安全形勢進行智能分析評判，包括但不限于產銷區糧食供需關系、主要品種糧食供需情況等,并給出安全形勢的評級評價。

系統可同時提供兩種不同的視窗，一方面以現有數據為基礎，通過內置的模型和算法直接為領導提供具體的分析結果；另一方面可為業務分析人員提供智能化研判分析工具，系統指標、模型算法可根據業務需要自行定義和選擇，并可將指標因素按照重要程度等維度進行權重的量化，增加了工具應用的實用性和靈活性。

二、政策推演

政策推演模塊通過糧食推演分析工具，為糧食政策研究和制定提供虛擬仿真環境，形成“信息調研-政策參考-政策方案制定-政策模擬實施”的閉環，為領導決策提供參考。糧食政策推演模塊可根據用戶自定義配置的政策參數，自動推演政策實施對各相關方面可能產生的影響，并對推演過程和結果產生的統計數據進行可視化展示，直觀展示政策推演結果，相當于以沙盤推演的方式模擬了政策從制定到試點的過程。用戶可根據自身決策需求，還可調整模型參數進行多次推演，以便達到最優的政策效果。

在本模塊中，系統主要采用VAR向量自回歸模型。向量自回歸模型可用來估計聯合內生變量的動態關系，主要依靠數據內部來擬合糧食政策的規律，適用于不用提前告訴模型過多的政策規律，而讓模型和數據內生性地挖掘規律。

三、重大效果評估

重大效果評估適用于對政策執行情況和項目推進情況進行評估。該模塊實現了將重點項目錄入并跟蹤其進展情況，做到自動錄入、自動分析、自動增強，進一步分析差異的原因，然后評估進展情況、能否完成目標、如何完成等，并對評估結果進行可視化展現。

本模塊提供適用于國家關于糧食行業重大項目規劃、重大改革決策的評估工具，該工具可評估糧食政策、行動、項目施行產生的重大效果，為重大項目規劃建設情況提供事前目標規劃、事中完成情況監控、事后效果評估的全流程把控。

四、重大數據研判

重大數據研判模塊基于糧食數據指標提供數據研判分析工具。重大數據研判模塊通過國際國內市場、糧食產量、糧食儲備、市場價格、糧食質量、供需平衡模型對相關數據指標進行深度研判分析，在國家糧食平臺數據資源中心提供數據的支撐下，追溯重大數據產生的相關因素并進行研判，推演數據指標變化后可能引起的次生變化。

在本模塊中，我們主要采用因子分析法。因子分析法在某些業務領域也稱之為專家模型，采用專家模型的場景往往是數據質量較為糟糕的環境，數據質量具體說來主要是兩個決定性原因：第一是有效樣本量，如果有效樣本少，但是存在黑白標簽，也可以搭建有監督的模型去建模；第二是樣本有無黑白標簽，如果樣本量足夠大，也可以搭建無監督的機器學習，人工智能等模型去建模。而當業務場景既沒有足夠數量的有效樣本，又無黑白劃分明確的標簽，數據的質量可用性評估幾乎等于0，則依舊可以依賴專家模型建模，雖然專家模型的缺點較多，但在數據質量糟糕的環境中，依舊是經常使用的解決方案。

在機器學習人工智能出現之前，大量的業務場景因為事先沒有黑白樣本，無法建立有監督的模型，所以這種場景下的業務需要專家的行業先驗經驗用于引導建模，比如經濟領域的經濟指數，無法事先得知預測的準確與否，專家經驗在搭建經濟指數過程中占據很大權重；比如信貸領域，某些銀行需要新開展信用卡業務，由于內部無信用卡存量客戶的數據積累，無法對新客戶的好壞識別進行有監督地建模，因而銀行需要引入專家模型以確定貸款策略。同理，在糧食領域，大量的業務并無確定的黑白標準，而且數據量級較小，又不足以引入機器學習人工智能等無監督模型，所以，這種客觀條件下引入專家經驗，利用專家在行業內的專業性，保證模型不會有巨大的誤差和錯誤。

五、智能糧食監管

智能糧食監管模塊實現了對海量的涉糧企業相關數據的爬取和歸集、交叉比對，利用大數據支撐的機器學習技術和識別技術，建立風險模型進行企業風險預警。

大數據技術將互聯網上多源企業數據爬取整合進糧食局內部企業數據，在涉糧企業詳情頁面中展示涉糧企業基本信息、收購信息、倉儲信息、物流加工信息、銷售出庫信息、銀行信貸、經營信息、信用信息，利用圖計算技術，將每個企業作為動態本體與其有業務關聯的企業連接起來，形成企業關聯圖譜；通過對企業風險進行建模運算，利用機器學習技術進行迭代優化，形成動態風險指數評分、企業風險評價維度、涉糧企業風險問題等。

在本模塊中，系統主要采用了邏輯回歸與梯度提升決策樹模型GBDT的加權融合模型方案。邏輯回歸模型具有強大的可解釋性，影響涉糧企業風險的一級風險和二級風險指標均可量化，風險維度大小一目了然，方便監管實踐中，有針對性地進行監管。同時，邏輯回歸又有很強的穩定性，模型的穩定性是長期監管業務中的一個重要屬性，但邏輯回歸的缺點也很明顯，即其模型精準度不如機器學習的精準。所以，針對邏輯回歸精準度不高的缺點，針對性地補充決策樹模型GBDT模型，提高模型的精準度，從而在可解釋性、穩定性、精確性三個維度上，模型均可達到較為理想的性能。

六、智能信息服務

智能信息服務模塊提供涉糧企業信息、糧油信息等，面向全局提供全面、準確、統一、權威的糧食市場價格信息服務，包括但不限于各品種原糧價格、成品糧價格，糧食批發市場價格、期貨市場價格等，并為后續市場行情提供價格預測的信息服務。對國際糧食市場交易、進出口、價格等主要要素信息進行匯總和分析，為宏觀調控決策提供信息服務。

糧食領域的價格、需求量、供應量等觀測序列，主要是受糧食規律與經濟規律相互作用，同時，糧食規律和經濟規律的相互作用也受一些隨機因素的影響，而規律的作用和隨機的影響兩大因素，反映在價格、需求量和供應量等可量化的糧食指標上時，具體體現為這些糧食即非完全規律（不含隨機影響），也非完全隨機（白噪聲），而是呈現出在時間上既有關聯，又有一定波動的表現形態。所以，在對糧食價格，需求量，供應量等建模時，一個天然的模型選擇就是自回歸滑動平均模型（以下簡稱ARMA）。ARMA是自回歸模型（簡稱AR模型）與滑動平均模型（簡稱MA模型）為基礎“混合”構成，更為細致地說，自回歸模型利用指標之間的線性相關性去擬合糧食規律與經濟規律，雖然具體的糧食規律和經濟規律非常復雜且非常難以量化表達，但AR模型利用觀測序列數據自身的信息去最大可能性擬合，接近真實的糧食規律和經濟規律；而隨機因素的影響體現在滑動平均模型MA，滑動平均模型與AR模型的側重點不一樣，AR模型的任務是最大可能性去靠近規律因素，而MA模型的任務是最大可能性去靠近隨機因素，而且使用的隨機基為純隨機的高斯白噪聲，其分布函數是標準正態分布。綜上，在糧食領域中刻畫既有強烈客觀規律，又有不可忽視的隨機因素，則結合了自回歸模型與滑動模型的自回歸滑動平均模型ARMA在實際業務場景和理論基礎上都是較為合理的模型選擇。

當前，在整合現有數據的基礎上，智能決策中心所分析的結果得到了專家及相關業務人員的初步認可，后續隨著更多數據的引入以及模型的進一步優化，相信以大數據和人工智能技術為基礎的智能決策中心，必將為糧食行業的監測、預警、預測和決策提供更多的支持和幫助。

以數據為基礎，以模型為核心，大數據與人工智能技術為行業決策分析提供了新的思路和手段。而同時我們也可以看到，雖然大數據被各個領域廣泛提及和關注，但它也并不能“包治百病”。不管是大數據還是人工智能，畢竟只是技術手段，真正解決業務問題，還是必須要以行業業務為根本。夯實數據基礎，尊重業務規律，并理清分析決策的流程，才可真正將先進的技術落地到行業應用服務。