數據倉庫在農產品追溯系統中的應用概況

摘要：介紹了農產品質量追溯的國內外研究現狀及數據倉庫技術，分析了農墾農產品跨企業追溯的需求，并針對該需求提出了數據倉庫的解決方案，主要內容包括農產品質量追溯數據倉庫系統的數據邏輯模型、農產品質量追溯信息的編碼映射方法、在線分析處理（OLAP）服務器選型與多維數據模型設計、追溯分析報表制作與展現。

關鍵詞：數據倉庫；農產品質量追溯；在線分析處理（OLAP）

中圖分類號：TP391；X836 文獻標識碼：A 文章編號：0439-8114（2013）21-5126-03

Application of Data Warehouse in Agricultural Products Traceability System

ZHANG Xian-le，WANG Lei

（School of Computer Engineering， Zhejiang Institute of Mechanical and Electrical Engineering， Hangzhou 310053， China）

Abstract： Based on a general introduction of domestic and international research on agricultural products traceability system and data warehouse technology， the paper analyzed the demand of agricultural products traceability system among enterprises. According to the demand， a solution of data warehouse is proposed. The main contents included the data logic model of data warehouse in agricultural products quality traceability system， the mapping method of information code in agricultural products quality traceability， the online analytical processing（OLAP） server selection and design of multi-dimension data model， and the analysis report making and demonstrating of traceability information.

Key words： data warehouse； quality traceability of agricultural products； online analytical processing （OLAP）

如何建立農產品可追溯系統是農產品行業的相關企業及各級政府監管部門面臨的重要任務。2002年歐盟頒布法令對有關食品的可追溯性、防止有害食品進入市場、食品業者的義務及進出口商要求進行了規范，歐盟的可追溯系統覆蓋了從農田到餐桌的全部食物鏈。美國、日本、澳大利亞等國家也建立了類似的制度[1，2]。國內從2002年開始對追溯系統開展了研究。目前開展的追溯系統研究主要側重于農產品可追溯系統的探討以及針對單個企業農產品追溯信息系統的構建[3-6]，數據倉庫技術在農產品安全系統中的應用國內也有研究。例如李雅莉等[7]、管剛等[8]的基于DW和DM的農產品加工企業DSS的研究，這些研究的重點集中在數據倉庫技術在農產品的加工數據或是安全數據等方面的應用。姜洋等[9]針對農業部農墾局下屬的100多家不同農產品生產企業的質量追溯需求，設計了可定制的農產品質量系統，能較好地對每個企業內的種植、生產加工以及流通環節建立追溯鏈，但不具備跨企業追溯的功能。

本研究針對農墾農產品質量追溯系統存在的不具備跨企業追溯能力的問題，對數據倉庫的相關技術與農產品跨企業追溯需求進行了分析，提出了應用數據倉庫相關技術來解決這類需求的方法。

1 數據倉庫相關技術概述

1.1 數據倉庫概念及其特點

目前，對數據倉庫尚沒有統一的定義。著名數據倉庫專家Inmon[10]認為數據倉庫是所有DSS處理的基礎，是一個面向主題的、集成的、相對穩定的反映歷史變化的數據集合，用于支持管理決策。對于數據倉庫的概念，一般可從兩方面來理解：首先，數據倉庫用于支持管理決策，面向分析型數據處理，它不同于現有的操作型數據庫；其次，數據倉庫是對多個異構的數據源有效集成，集成后按照主題進行重組，并包含歷史數據，存放在數據倉庫中的數據一般不再修改。

根據數據倉庫概念的含義，數據倉庫主要有4個特點：①面向主題：數據倉庫中的數據是按照一定的主題域進行組織的。一個主題通常與多個操作型信息系統相關；②集成：數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，是組織范圍內一致的全局信息；③相對穩定：數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，修改和刪除操作很少，通常只需要定期加載、刷新；④反映歷史變化：數據倉庫中的數據通常包括從過去某一時點到目前的各個階段的信息，通過這些信息可以對業務的發展歷程和未來趨勢進行定量分析和預測。

1.2 在線分析處理（OLAP）技術

OLAP技術是使分析人員、管理人員或執行人員能夠從多角度對信息進行快速、一致、交互存取，從而獲得對數據的更深入了解的一類軟件技術，其目標是滿足決策支持或者在多維環境下特定的查詢和報表需求。它的核心技術是維。OLAP的基本多維分析操作有鉆取、切片和切塊以及旋轉等。OLAP技術能使數據倉庫快速響應重復和復雜的分析查詢，從而使數據倉庫有效地用于在線分析。OLAP的多維數據模型和數據聚合技術可以組織并匯總大量的數據，以便能夠利用在線分析工具迅速對數據進行評估。

2 農產品跨企業追溯需求分析

2.1 問題農產品追溯鏈分析

目前，農墾農產品質量追溯系統能在一個企業范圍內建立追溯鏈，以大米為例，如發現問題產品，可根據最終產品追溯碼反向查詢出整條追溯鏈上的種植、加工和銷售等環節的信息，鎖定問題后，可根據相應環節的追溯碼再正向查詢相關的有問題產品的流向范圍，便于質量問題的分析與監管。而如果兩家企業是上下游關系，由于各個企業的追溯鏈信息存在于各自的數據庫系統中，系統則無法進行問題產品的追溯。所以，當考慮到跨企業追溯的要求時，在農產品發生質量安全事件后，要能分析同批次問題產品在農墾農產品追溯系統中的所有企業范圍內的追溯信息。

2.2 問題投入品追溯鏈分析

化肥、農藥等投入品對農產品質量安全有很大的影響。在監管平臺能根據問題投入品的信息，分析問題投入品在農墾農產品追溯系統中的所有企業范圍內的追溯信息，為監管部門和相關企業的決策提供依據。

2.3 農藥安全周期分析

根據農產品質量追溯數據，分析農藥施用安全周期，能在農墾農產品追溯系統中的所有企業范圍內追溯出安全間隔周期異常的農藥可能影響的農產品范圍。安全周期分析可為進一步評估相關上下游產品的農藥殘留提供依據。

3 數據倉庫系統解決方案

針對目前農墾農產品質量追溯系統跨企業追溯的需求，在研究數據倉庫相關技術的基礎上，提出了相應的農墾農產品質量追溯數據倉庫系統的解決方案，主要描述如下。

3.1 數據倉庫系統的數據邏輯模型設計

系統的數據邏輯模型設計如圖1所示。

在源數據層，當企業數據中心上傳追溯數據時，利用農墾數據中心的數據轉換程序，提取追溯數據到一個統一的數據庫；在數據倉庫層，利用OLAP技術建立多維數據集的模型，并利用ETL工具加載源數據到OLAP服務器；在報表展現層，選擇商務智能報表開發工具，對建立的多維數據集進行基于Web報表的設計與分析。

3.2 農產品質量追溯信息的編碼映射

目前農墾農產品質量追溯系統針對每個農產品生產企業都生成一個在農墾數據中心的數據庫，由于每個企業的農產品的特點和生產流程都不同，企業采用可定制軟件生成追溯信息系統后，每個企業生成的數據庫中的追溯表結構都會不同，系統目前能對單個企業的農產品進行追溯，將追溯范圍擴大到多個企業后，則需要建立多個企業農產品追溯信息的統一編碼，為建立數據倉庫系統提供統一的數據源。為此，對原有的單個企業的追溯表結構進行擴展，形成的表結構主要字段及描述如表1所示。建立統一的編碼規則后，可按規則加載各個企業的數據信息，實現對不同農產品質量追溯信息的存儲。

3.3 OLAP服務器選型與多維數據模型設計

目前主流的OLAP產品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Server等，這些產品都可以生成多維數據立方體，提供多維數據的快速分析，支持所有主流關系型數據庫如DB2、Oracle、SQL Server等。各廠商的OLAP Sever對自己的數據庫產品的支持均好于其他數據庫，各自的分析工具也都基于開放的OLE DB標準，可以訪問支持OLE DB標準的數據立方體。

現有的農墾農產品質量追溯系統中，數據庫選用的是微軟的SQL Server 2000，針對農產品質量追溯數據倉庫的特點，綜合考慮有效利用現有IT投資、產品的兼容性和易用性以及快速實現對現有數據庫系統中的數據進行轉換、加載等要求，確定選擇SQL Server Analysis Services 2008作為OLAP服務器。并設計各個分析主題的多維數據模型，產品追溯鏈主題的多維數據模型（圖2）。

3.4 追溯分析報表制作與展現

在分析主流BI報表工具的基礎上，考慮報表開發、發布的功能和易用性等要求，確定了利用美國Radar-Soft公司開發的RadarCube ASP.NET for MSAS組件，在Visual Studio 2008中開發分析報表。利用這些基于Web形式的報表，企業或監管人員可以對建立的多維農產品質量追溯數據倉庫信息模型進行追溯分析，從多角度查詢追溯信息。圖3是利用RadarCube ASP.NET for MSAS組件建立的一個查詢多維數據集的示例ASP頁面。

分析人員可以針對不同的類型創建計算度量值，如基于行-表的度量值、自定義聚合度量值以及其他Cube單元格的度量值，在每個層次成員上進行下鉆操作，在任何層級上的個別層次或維度進行自定義排序，在OLAP網格中基于任意一列的值進行排序操作，從而從各個角度來分析多維數據集的信息，進行分析與決策。

4 小結

農墾農產品質量追溯系統自2008年開始建設以來，已經有300多家國內知名企業、農場納入了追溯監管系統，隨著追溯系統的不斷推廣，目前在追溯數據中心（農業部）已經存儲了海量的追溯數據。本研究通過對跨企業農產品質量追溯需求的分析，提出利用數據倉庫技術來滿足這類需求的思路，設計了農產品質量追溯數據倉庫系統的數據邏輯模型，建立了農產品質量追溯信息的編碼映射方法，分析了OLAP服務器選型與多維數據模型設計、追溯分析報表制作與展現等方面的工具選型、設計方法等，該數據倉庫解決方案能使現有的數據發揮更大的作用，為政府對農產品質量安全的監管、分析提供更多有效的手段。

參考文獻：

[1] 劉俊華，金海水.國外農產品質量快速溯源的現狀和啟示[J].物流技術，2009，28（11）：251-253.

[2] MOUSAVI A， SARHADI M， LENK A， et al. Tracking and traceability in the meat processing industry： A solution[J]. British Food Journal，2002，104（1）：7-19.

[3] 謝菊芳，陸昌華，李保明，等.基于.NET架構的安全豬肉全程可追溯系統實現[J].農業工程學報，2006，22（6）：218-220.

[4] 覃 嬋，文良娟，彭飛榮，等.農產品質量追溯體系在分散農戶中的建立探討[J].安徽農業科學，2009，37（27）：13264-13266.

[5] 黃海龍，蔣平安，張 霞，等.基于Web的農產品追溯系統的設計與開發[J].新疆農業科學，2010，47（9）：1832-1836.

[6] 楊世江，劉錦高.基于RFID的農產品追溯系統研究[J].信息技術，2011（8）：144-146.

[7] 李雅莉，何東健.基于DW和DM的農產品加工企業DSS的研究[J].農機化研究，2007（3）：146-149.

[8] 管 剛，李 力，王 闖.食品安全分析數據倉庫構建過程中的數據預處理技術[J].電腦編程技巧與維護，2011（18）：71-73.

[9] 姜 洋，王 雷.基于可定制的農產品質量追溯系統的構建[J].安徽農業科學，2011，39（35）：22175-22178.

[10] INMON W H. Building the Data Warehouse[M]. 3nd Ed. Hoboken，NJ： John Wiley Sons，2003.