Web服務在多源異構農業數據融合上的應用研究

倪 芳，曾 輝,卓 輝,廖桂平

(1.湖南農業大學 信息科學技術學院，湖南 長沙 410128;2.湖南農業大學 農業信息研究所，湖南 長沙 410128；3.湖南省科學技術廳信息研究所，湖南 長沙 410001；4.湖南省國家農村農業信息化工程技術研究中心，湖南 長沙 410128)

Web服務在多源異構農業數據融合上的應用研究

倪 芳1,2,3，曾 輝1,4,卓 輝1,4,廖桂平1,2

(1.湖南農業大學 信息科學技術學院，湖南 長沙 410128;2.湖南農業大學 農業信息研究所，湖南 長沙 410128；3.湖南省科學技術廳信息研究所，湖南 長沙 410001；4.湖南省國家農村農業信息化工程技術研究中心，湖南 長沙 410128)

從農業物聯網中海量數據、繁雜信息等諸多平臺之間存在農業數據庫交互與集成的現狀出發，結合其分布式Web服務可對不同地域、不同庫區以及不同系統平臺之間進行知識交互，采用Web服務技術對其數據內容進行定義、修改、查詢等特殊方式對其當前農業信息系統中的用戶需求和標準可生成相關數據倉庫和模式預測模型；同時可對其采用XML在任意應用系統中讀寫數據，實現在各種系統中數據交換與信息結合，同時使得數據能安全獨立地在程序中運行與分析且不影響系統平臺的性能，為應用終端用戶提供多源數據，并使得數據之間異構融合、信息相互暢通傳輸，打破前期不同數據庫之間存在的“數據鴻溝以及數據壁壘”。這有助于提高農業信息服務，以及更好更快地促進農業物聯網中數據的傳遞與交互。

數據;可擴展標記語言;用戶;農業物聯網

0 引 言

隨著計算機科學的不斷發展，數據、知識、信息[1-3]在農業生產、指揮、管理、流通等領域的作用愈來愈突出。首先，在農業生產方面，由于受地理環境、水分、土壤資源等約束[4]，使得農業數據在采集、存儲、加工、處理方面變得更加復雜；與此同時，數據也由簡單定量收集向滿足當前用戶所需的信息服務方面發展，其數據呈單一、散片等形式存在[5]。因此，如何使得多源數據異構融合[6-7]以實現農業數據集成與共享迫在眉睫。為此，文中采用Web-XML技術[8-9]對其不同用戶終端的不同需求做出相應的數據處理，實現農業多源數據異構整合，使其達到數據與信息共享。

1 系統架構設計

1.1 系統運行環境及設計思路

系統以Oracle 10g和SQL Server分別作為(Client和Server)的數據庫設計結構。采用Web Logic Server 12c作為動態JSP引擎[10];在Linux下運用Visual C++6.0編寫設計模型與推理庫，生成人機界面與數據庫綜合管理系統。首先，農業生產自身諸多因素(如作物生長環境、地域、濕度、氣溫)使得農業多源異構特征表現異常突出，其中關于此異構不僅僅指數據庫內部表結構異構，而且還包含操作系統的異構。其次，在應用終端數據使用的裝置(RMV、PDA、語音識別、文字表達)不同，其數據存儲、處理、加工形式也不同，這將使得數據倉庫中的數據格式變得多元化；同時，在實際生產過程中異構數據應用相對同源數據更為顯著。因此，實現農業數據多源異構是業務邏輯層與應用層之間中間件的核心問題。

為此，有效解決多源異構問題對提高農業數據集成與共享日趨重要。實現方案(見圖1)主要有以下幾點：

(1)構建統一的業務邏輯范疇；提高數據可靠性。其具體方案為利用XML、SOAPWSDL或使用農業信息系統的成熟架構，解決各個數據庫中語義沖突以及通訊協議標準不一致的問題，實現所有農業信息數據在此平臺下兩兩數據庫之間的數據同步，從而實現共享與集成，達到無縫鏈接作用。

(2)運用中心數據庫，保證系統訪問透明性。其具體實現方法為構建一個中心數據庫對其所有農業信息數據庫進行存儲和Web Service認證，使得農業應用終端需求多元化以及數據挖掘得以實現；在此過程中，用戶不必考慮其數據模型、管理系統、應用系統之間的異構問題，只需運用某種工具，掌握具體使用規則對其進行檢索，獲取滿足自己需要的信息服務。

(3)數據獨立性充分保證各個農業數據庫系統中數據在集成與共享時平臺的獨立。其具體路線為當數據倉庫中某個或某些數據發生改變，其共享平臺保持原有架構不變，將其XML元數據映射技術作為中轉倉庫對數據進行處理，保證程序與數據兩者充分隔離。這樣既保證了數據的真實性，也保障了系統平臺的可靠性。

圖1 面向Web服務農業數據集成與共享拓撲圖

1.2 底層模塊架構設計

農業信息綜合平臺建設是集多因素、多層次、多目標、關系復雜且在時間與空間受其限制的復雜龐大系統。而這一系統的數據復雜性、實時更新性、海量數據模糊性，使得該系統相對其他專家系統要求更高。

(1)在農業基礎數據動態變化時，要考慮數據管理庫系統、知識推理庫、模型解釋器(見圖2)中的數據更新以及技術(GPS,GIS,RS)[11]更新。為系統中基礎數據庫以及知識庫提供數據支撐和保障，加速農作物生產管理即時化、空間化、立體化[12]發展。同時，對其被提供的數據無論在量還是在質上都要求精準，擴充其三庫(知識庫、數據庫、模型庫)的強大生命力，這將進一步豐富ES系統的功能與開發價值。

(2)關于系統功能集成化[13]問題：在農作物生產管理過程中受氣候、濕度、病蟲害以及時空差異、地域差異等因素的影響，考慮將不同領域的多個農業專家系統相結合，綜合其作物生長態勢模型與專家經驗模型、推理機對其作物在不同地域、氣候以及培育環境變化時動態模擬作物產前、產中、產后全過程，這將大大降低農資成本，為科學生產管理提供依據。

(3)數據模型多元化[14]：當前農業專家系統針對知識簡單、單一的線性回歸模型；而隨著BP神經網絡[15-16]、模糊數學[17]、隨機模擬[18]、非線性科學[19]等學科的產生，對進一步模擬實際農作物生長全過程起到了巨大幫助。

其系統開發平臺運用的C/S服務體系結構模型，以及后臺SQL Server數據庫管理系統間模塊設計方案如下：

1.2.1 封裝構建

針對接口文件處理的語義和軟構件結構管理器的信息與知識，將交互界面(腳本語言編寫界面、模板套用)生成的界面與數據文件、知識封裝為一個實用的系統。文中采用組件技術(統一的接口標準)對其構件進行編寫，方便跨平臺調用與加載，同時使得開發平臺模塊化性能突出。如數據庫構件管理器/知識庫構件管理器運用于自身平臺的同時兼容開發的應用系統，提高了可重用性與規范性。

1.2.2 農業知識庫構建

所謂農業知識庫是關于農業相關領域理論、現有數據、核心算法、數值模型等若干個知識散片集群存儲在控制器中，其知識經過獲取、表達、管理、組織、傳遞使知識群變得結構化、交互化、易運用。首先，在農業知識獲取上，需借助知識工程師、專家經驗、智能編輯程序(如MYCIN中TEIRESIAS知識獲取方式)。其次，在農業知識表達方面，為了使得客戶終端的農業用戶便于對知識以及知識間關聯的理解與操作，在ES系統中采用數據結構或語義處理機制對農業知識進行表達。其表達過程：在語義Web中以RDF資源框架、XML語法、URI機制[20]對各種抽象農業知識進行集成與分析，處理當前自然語義、人工邏輯推理以及機器學習處理不了的信息。再次，在農業知識管理上，由于當前農業數據存在多源性，其表達形式存在多樣性，如文字、表格、圖像等，為此，采用本體技術實現對領域知識與任務本體間的集成與共享[21]，推理出與該領域無關結果(頂層本體)，進而加速應用本體(農業知識解釋與具體化)的發展；同時，采用描述元數據語義與規則，對隱性農業知識進行充分挖掘，消除同一領域間的不同學科瓶頸和不同領域間的語義障礙，為異構數據融合與知識交互[22]提供便利。其目的旨在實現農業知識查詢、農業知識匹配、農業知識重組、農業知識結構化與非結構化以及消除農業知識冗余。最后，在農業知識傳遞方面，通常在考慮傳遞成本以及顯性知識編碼時常采用單向傳遞模型，轉移知識載體過程中不需要依賴知識接收方；一旦傳遞過程中存在隱性知識或隱性和顯性混合知識時需用到往復傳遞模型，使得顯性知識與隱性知識相互轉化，實現知識接受質量與成本均衡；隨著隱性知識復雜度增加，進而不需要考慮知識源與知識接受者的主次地位，實現隱性知識與隱性知識間的交互。此時采用交融傳遞模型，保證知識傳遞質量與可靠性。

圖2 農業信息綜合系統流程模塊圖

2 農業數據異構關鍵節點

2.1 農業數據接口層和訪問層

為了使農業用戶終端能直觀對系統服務功能進行操作、訪問，常常需要考慮服務接口(在UUDI查詢中心具有注冊認證、實名登陸、數據上行與下行)。由于Java Web Services Developer Package為Java實現Web服務提供開發軟件包(在數據交換平臺中經常用到JAXP(Java API for XML Processing)，為用戶提供描述信息、數據解釋和SOAP消息機制，SOAP消息的接收與發送采用JAXM(Java API XML Messaging)，JAX RPC(Java API for XML-based Remote Procedure Calls)調制SOAP消息網絡對象，XML數據模式交互運用Schema文檔把可標記擴展數據變換為本地關系數據，從而降低整個農業綜合系統中服務運營成本、減少數據應用的難度，更好地對不同農業用戶提供不同的信息反饋。

多源異構農業數據融合圖如圖3所示。

圖3 多源異構農業數據融合圖

2.2 農業數據交互關系模式

在數據關系異構中使得C/S雙方都具備獨立的數據庫系統是數據融合的關鍵節點。在Web服務體系架構下要求服務器后臺提供網絡訪問接口，用戶端提供相應的交互前端；為此采用XML格式對農業綜合系統中本地數據(源數據、公共模式數據、局部模式數據、用戶模式中數據)進行交換，要求使用相關程序對其進行轉化。轉化過程如下：

(1)在Client方采用Web服務封裝UUDI注冊和查詢中心發布：其中這些數據以(關系模型、半結構化、數值模型、文本格式)源數據形態保存，之后進入局部模式層采用SQL Server 2008 JDBC Driver和Oracle的JDBC Driver訪問SQL Server 2008和Oracle 10g，對其數據進行描述、融合、映射等一系列加工；再通過映射配置將局部模式轉化為用戶模塊，進入面向終端用戶的公共模式層，根據不同需求、權限生成若干個子模塊以滿足作物農戶、農產品終端市場、農業科研院所以及農業政府部門的需求。

(2)針對運行過程中Server的接收請求：在UUDI數據注冊中心保存著登陸數據源節點，通過對源數據抽取完成源數據向局部數據模式的轉變，進而在融合中心完成公共模式數據到局部模式數據的映射和排序。

不同用戶根據自身需求和權限向融合中心數據庫發送業務請求；服務器系統接收到指令之后將融合中心系統庫中的數據進行轉換并反饋給信息請求方。例如，Linux下C/C++系統開發平臺中基于Web Service的異構數據融合部分代碼如下：

#include "bayesFlt.hpp"

#include

#include

/*Filter namespace*/

namespace Bayesian_filter

{

const Bayes_base::Float Numerical_rcond::limit_PD_init=std::numeric_limits::epsilon() * Bayes_base::Float(1e5);

Bayes_base::～Bayes_base()

{}

void Bayes_base::error (const Numeric_exception& e)

{

throw e;

}

void Bayes_base::error (const Logic_exception& e)

{

throw e;

}

………………………….

………………………….

………………………….

while(ssi < sortR.end())

{

if(ColProxy::less(*ssp, *ssi))

++u;

ssp=ssi;

++ssi;

}

return u;

}

Sample_filter::Sample_filter (size_t x_size, size_t s_size) :

Sample_state_filter(x_size,s_size)

{

}

void Sample_filter::predict(Functional_predict_model& f)

{

const size_t nSample =S.size2();

for (size_t i=0;i!=nSamples;++i) {

FM::ColMatrix::Column Si(S,i);

FM::noalias(Si)=f.fx(Si);

}

}

}//namespace

3 結束語

文中提出采用分布式Web服務中的XML技術對多源異構農業數據實現融合，能將抽象的農業數據變得模型化，從而有效解決當前農業不同領域的數據整合與交互問題；同時，通過智能農業知識庫挖掘其中的隱性知識，有利于提高農業數據價值，對農業物聯網中多源異構數據融合與集成產生深遠影響，加速現代農業發展步伐。

[1] Bellinger G,Castro D,Mills A.Data,information,knowledge,and wisdom[EB/OL].2004.http://www.systems-thinking.org/dikw/dikw.htm.

[2] Kanehisa M,Goto S,Sato Y,et al.Data,information,knowledge and principle:back to metabolism in KEGG[J].Nucleic Acids Research,2014,42:199-205.

[3] 倪 凱,祝曉東,張 超.基于關聯規則的空間數據知識發現及實現[J].計算機應用與軟件,2005,22(12):34-35.

[4] Pimentel D,Houser J,Preiss E,et al.Water resources:agriculture,the environment,and society[J].Bioscience,1997,47(2):97-106.

[5] Weiser M.The computer for the 21st century[J].Scientific American,1991,265(3):94-104.

[6] Wang H,Liu X,Lai J,et al.Network security situation awareness based on heterogeneous multi-sensor data fusion and neural network[C]//Proc of second international multi-symposiums on computer and computational sciences.[s.l.]:IEEE,2007:352-359.

[7] Ren Y,Peng D,Wu J,et al.The research and application of multi-resource heterogeneous data fusion on dynamic traffic routing system[M]//Foundations and practical applications of cognitive systems and information processing.Berlin:Springer,2014:375-387.

[8] Appelbaum M S,Garvett J H.System,method and computer program product for data event processing and composite applications:U.S.,7774791[P].2010-08-10.

[9] Sheth A, Thirunarayan K. Semantics empowered Web 3.0:managing enterprise,social,sensor,and cloud-based data and services for advanced applications[M].US:Morgan & Claypool Publishers,2012.

[10] Greenwald R,Stackowiak R,Stern J.Oracle essentials:Oracle database 12c[M].[s.l.]:O'Reilly Media,Inc,2013.

[11] Deren L.On definition,theory and key technics of the integration of GPS,RS and GIS[J].Journal of Remote Sensing,1997,1(1):64-68.

[12] Fernandez-Galvez J,Simmonds L P.Monitoring and modelling the three-dimensional flow of water under drip irrigation[J].Agricultural Water Management,2006,83(3):197-208.

[13] Bonaudo T,Bendahan A B,Sabatier R,et al.Agroecological principles for the redesign of integrated crop-livestock systems[J].European Journal of Agronomy,2014,57:43-51.

[14] Pellegrini L,Tasciotti L.Crop diversification,dietary diversity and agricultural income:empirical evidence from eight developing countries[J].Canadian Journal of Development Studies,2014,35(2):211-227.

[15] Zhao Lixi,Shui Pengbo,Fang Jiang,et al.Using monitoring data of surface soil to predict whole crop-root zone soil water content with PSO-LSSVM,GRNN and WNN[J].Earth Science Informatics,2014,7(1):59-68.

[16] Ma L,Liu F,Chen L,et al.Simulation of Crop Evaportranspiration Based on BP neural network model and grey relational analysis[J].Diabetes Care,2012,2(1):15-21.

[17] Chatterji S,Tiwary P,Sen T K,et al.Land evaluation for major crops in the Indo-Gangetic Plains and black soil regions using fuzzy model[J].Current Science,2014,107(9):1502-1511.

[18] Mavromatis T,Hansen J W.Interannual variability characteristics and simulated crop response of four stochastic weather generators[J].Agricultural and Forest Meteorology,2001,109(4):283-296.

[19] 曾 輝,卓 輝.超高速光纖通信系統中孤子間穩定傳輸濾波器補償效應研究[J].激光雜志,2015,36(1):87-89.

[20] Bizer C,Heath T,Berners-Lee T.Linked data-the story so far[J].International Journal on Semantic Web and Information Systems,2009,5(3):1-22.

[21] Camporeale C,de Nicola A,Villani M L.Semantics-based services for a low carbon society:an application on emissions trading system data and scenarios management[J].Environmental Modelling & Software,2015,64:124-142.

[22] Hecker M,Lambeck S,Toepfer S,et al.Gene regulatory network inference:data integration in dynamic models-a review[J].Biosystems,2009,96(1):86-103.

Research on Application of Web Services in Multi-source Heterogeneous Data Integration on Agriculture

NI Fang1,2,3,ZENG Hui1,4,ZHUO Hui1,4,LIAO Gui-ping1,2

(1.College of Information Science and Technology，Hunan Agricultural University，Changsha 410128,China;2.Agricultural Information Institute，Hunan Agricultural University，Changsha 410128,China;3.Scientific and Technical Information Institute of Hunan，Changsha 410001,China;4.National Rural Agricultural Information Engineering Technology Research Center of Hunan,Changsha 410128,China)

From the situation that agricultural database exists interaction and integration in many platform like huge amounts of data,miscellaneous information and others in Agricultural Internet of Things,combined with its distributed Web services interacting between different regions,different reservoir area and different platforms,the special way that the Web services technology is used to define,modify and query their data contents can generate relevant data warehouse and predictive model for user requirement and standard in its current agricultural information system,while using XML to read and write data to any application system,the data exchange and information merging is implemented in a variety of systems.At the same time the data can safely and independently operate and analyze in the program and does not affect system performance,providing multi-source data for the end-user application,making data heterogeneous fusion and information smooth transmission with each other,breaking the “digital divide as well as the data barrier” between the pre-issue different databases.It will help improve agricultural information services and promote the data transmission and interaction in Agricultural Internet of Things better and faster.

data;XML;user;Agricultural Internet of Things

2015-10-10

2016-03-03

時間：2016-07-29

國家自然科學基金資助項目(10674045，F050501)；國家科技部“十二五”重點課題(2011BAD21B03，2012BAD35B05)；國家科技部“國家星火計劃”項目(2011GA770001)；國家科技部科技支撐計劃課題(2012BAD35B00)；高等學校博士點基金資助項目(200805370002);湖南省科技計劃項目(2013GK3106)；湖南省教育廳學位基金項目(YB2010B024);湖南農業大學人才引進基金項目(08YJ02)；新型農業信息傳感技術創新團隊項目(92020200004)

倪 芳(1985-)，女，碩士，研究方向為數字圖像技術在農業物聯網中的應用。

http://www.cnki.net/kcms/detail/61.1450.TP.20160729.1833.006.html

TP39

A

1673-629X(2016)08-0129-05

10.3969/j.issn.1673-629X.2016.08.027