基于本體的農業綜合信息服務平臺績效評價研究

國 帥，王曉平，馬於帥，司海平

（1.河南農業大學信息與管理科學學院，鄭州 450046；2.河南省金囤種業有限公司，鄭州 450000）

農業綜合信息服務平臺依托現代信息技術，以數據庫為核心，高度集成農業實用技術、市場供求、產銷對接、生產經營狀況、產業產值和農作物產量等信息資源，以互聯網及各類終端設備為通信與共享渠道，面向空間離散、地域廣布、需求多樣的涉農部門、企業與人員提供便捷、高效、全面的交互式、專業化、個性化的農業信息服務，為加強農業信息服務監管、落實農業部門自身業務工作開展提供數據和信息技術支撐［1］。

隨著中國經濟建設的快速發展，農業已經進入了快速成長期，隨之也暴露出農業綜合平臺的缺點以及不足之處，要更加客觀地評估平臺的綜合指標，就需要通過綜合績效提升平臺系統的易用性和便捷性。周友勝［2］對綜合信息服務平臺用戶需求及影響因素進行了研究，通過整理農戶個人基本信息特征、農村綜合信息服務平臺需求的內容、對信息平臺的使用和信息意識4個方面的數據，利用Probit模型對變量進行了定量分析，分析農戶對農村綜合信息服務平臺的了解狀況、用戶使用平臺信息的需求意愿及影響因素，最后根據得出的結論提出合理的建議對策。陳偉［3］分析了當前農業信息化建設存在的問題，將云計算模型引入農業綜合信息服務平臺建設中，分析了云計算特點及其在農業信息化中的優勢，介紹了基于云技術的農業綜合信息服務平臺建設方案，分析了平臺建設框架、服務分層、功能架構以及在農業生產過程中智能化的應用，提出的建設方案對整合松散的農業信息化資源、形成初步農業信息云資源平臺具有一定的參考價值。

農業綜合信息服務平臺屬于公益類、義務類、非營利性服務平臺，平臺升級與服務優化缺乏競爭意識、用戶導向意識［4-6］，構建更完備的平臺績效評價體系并對平臺績效進行量化評價分析，有利于整體推動農業綜合信息服務平臺運行效率的提升，各省級平臺績效的橫向對比也有利于平臺之間打破慣性思維、抓差補缺，更好地服務于區域農業與經濟的協調發展［7］。現有平臺都是站在用戶使用角度以及便利性和方便性考慮，沒有提及客觀的績效評價指標，無法綜合多個維度方面來評價信息服務平臺的好壞。本研究在現有技術的基礎上，結合自然語言處理技術以及智能化技術，提出基于本體的農業綜合信息服務平臺績效評價模型。該模型綜合平臺資源、用戶體驗、服務效能3個維度評價系統平臺的績效，并引入層次結構模型得出每個指標的重要程度，便于量化指標，以期將所有的平臺進行綜合評價對比，刻畫系統的便捷性與易用性。

1 非營利性服務平臺的評價框架研究與不足

非營利性服務平臺評價框架研究集中在評價指標體系構建、評價方法或模型設計以及指標數據源獲取3個方面。

1.1 評價指標體系構建

鑒于非營利性服務平臺的服務對象、服務內容與服務特性，現有對平臺績效的評價指標多圍繞其服務能力展開，包括界面設計、系統性能、網站質量、內容豐富度、網絡顯示度等平臺輸出式單向硬性指標，較少納入用戶評價、訪問頻率、使用效益等用戶反饋式軟性指標，未能構建平臺與用戶雙向互動式的評價指標體系。

1.2 指標數據源獲取

當前對于服務型平臺的績效評價指標數據獲取或采用主觀調研方法，如專家評議內容豐富度與網站質量，或采用客觀量化方法，如借助網絡爬蟲提取網站鏈接數、網站PR值、網站在線訪問量，模擬多用戶并發訪問網站以統計服務器CPU與內存消耗等。指標數據具有不同的時效與顆粒度，如網站在線訪問量可以日為單位加以統計，內容豐富度的獲取時效則由專家根據評議周期決定。此外，指標數據體系龐大且無統一的規范性標準，以人工收集與整理的指標數據源獲取工作面臨較重的壓力。

1.3 評價方法或模型設計

在非營利性服務平臺績效評價模型方面，現有研究多沿用計算機、應用數學等領域的成型理論與方法，如線性模型、Logistic回歸模型、層次分析法、模糊層次分析法、支撐向量機、人工神經網絡、卷積神經網絡等數據驅動模型更關注數理規律，較少關注評價對象和概念的語義關聯關系，未能建立動態評價機制［7］。

2 本體理論與本體評價法

人工智能領域的學者Neches等對本體定義如下：給出構成有關領域詞匯的基本術語和關系，并運用這些術語和關系組成規定這些詞匯外延的法則［8］。該定義中涉及4個關鍵詞，“領域”是指本體所描述的特定領域，如本文所研究的領域為農業；“術語”是指特定領域中的重要概念，如農業領域中的生產對象、農機設備、涉農技術、生產過程等；“關系”是指基本術語之間的關系，可理解為類的層次結構，如術語“農機設備”中包含了術語“插秧機”“收割機”，術語“插秧機”具有“插秧”用途屬性；詞匯外延法則是指對本體的約束，包括值約束、不相交描述、屬性約束等，如只有“插秧機技工”才能維修“插秧機”。在互聯網中，用戶可能會用不同的術語來表達相同的含義，或者一個術語含有多個含義，因此，消除術語差異是很有必要的。目前的解決方案是，對某個領域建立一個公共的本體，在涉及該領域時充分使用公共本體里的術語和規則，以便信息共享與理解。

根據工作原理與理論支撐的不同，本體評價方法可分為基本本體評價法、基于認知心理學的本體評價法和以需求為導向的本體評價法3類［9］。基本本體評價法是其中惟一的量化方法，其主要包括黃金標準評價法、基于標準的本體評價法、基于具體任務的本體評價法，前2種方法或因局限于本體領域內部研究而缺乏實用性，或因側重于外觀特性而忽略本體實際應用，均不適用于本研究關于農業綜合信息服務平臺績效評價。基于具體任務的本體評價法著眼于評價任務中的本體庫構建，利用某一評價指標與目標本體間的相似度評價該指標完成的有效程度，綜合具體任務的諸多評價指標完成情況，以全面、客觀地評判具體任務。

3 基于本體的農業綜合信息服務平臺績效評價模型

3.1 構建原則

績效評價指標的選取與評價指標體系的建立是農業綜合信息服務平臺績效評價的首要環節，農業綜合信息服務平臺績效評價指標選擇時，通常需要考慮其指標數據的可獲取性、橫縱向可對比性、可量化表達的程度、量化數據的層次性以及評價體系對農業綜合信息服務平臺績效的系統性刻畫與描述能力等。從系統性層面來看，評價體系框架應能量化反映平臺運用主體如農技推廣部門、各級各類涉農企業、農業組織、農村實用人才的相關活動，能為各類主體提供多樣化、個性化的農業信息服務，包括技術指導、數據查詢、市場分析等。從層次性層面來看，評價體系應跳出當前平臺功能定位，立足于農業綜合信息服務內容與服務成效設計評價指標并劃分層次、匯總歸類，使得整個評價體系具有等級層次性與易操作性。從可對比性層面來看，評價指標應當具有同級地區橫向可對比性與動態縱向可對比性，兼顧指標的先進性與關注度。最后，需要綜合考慮平臺績效與評價指標以及指標之間的關系，盡可能消除評價指標之間的關聯性與重復性，提煉相關性較弱且能較全面表達平臺績效的影響因素作為農業綜合信息服務平臺績效評價指標，從而構建科學、合理、可行、全面的農業綜合信息服務平臺績效評價指標體系。

3.2 績效評價指標體系與數據來源

基于上述原則，農業綜合信息服務平臺可從3個角度構建“平臺-用戶”雙向互動式綜合績效評價指標體系。

3.2.1 平臺資源 反映平臺的內部業績與性能。農業綜合信息服務平臺的資源主要分為2個部分，一是平臺信息內容，包括平臺信息的數量和時效性等；二是平臺展示性能，包括平臺界面設計狀況、網站PR值、網站訪問速度和運行穩定性等。

平臺信息數量可由平臺管理員對所發布的信息總量加以統計；平臺信息的時效性即為平臺信息更新頻率，可由平臺管理員對每日新增信息進行統計，按一定時間周期計算平臺信息更新頻率。平臺界面設計狀況可根據用戶對平臺的評論解析獲得，用戶評論是用戶在平臺中發表的評論，闡述其使用平臺的感受與想法，利用自然語言處理方法對評論進行中文分詞和本體映射，提取出用戶對界面設計相關評論的關鍵詞，經語義分析確定評論態度與觀點；網站PR值可利用Google PR值查詢工具查詢得到；網站訪問速度可通過模擬多用戶并發訪問操作，抓取頁面響應時間作為網站訪問速度；通過多線程并發登錄的模擬測試，獲得網站最大訪問用戶量，作為運行穩定性指標值。

3.2.2 用戶體驗 反映用戶對平臺使用的滿意程度。作為農業綜合信息服務平臺的服務對象，用戶滿意度直接關系到平臺績效。用戶體驗由用戶自發式反饋，可體現在平臺信息瀏覽量、網站日平均訪問量、平臺信息轉發量、用戶評分和用戶使用情感等方面。

平臺信息瀏覽量可對信息鏈接的點擊量進行統計；網站日均訪問量可運行訪問量統計代碼，對單日內平臺的用戶訪問量進行匯總統計；平臺信息轉發量可利用網頁集成open install jssdk與域名等進行統計；用戶評分是農業綜合信息服務平臺向用戶提供的服務評分機制，統計用戶對平臺服務的打分；用戶評論中蘊含的情感可直接體現用戶對平臺使用的滿意度。

3.2.3 服務效能 反映平臺在提供服務過程中所產生的效益。農業綜合信息服務平臺向用戶提供農業信息咨詢與技術推廣服務，由用戶將所學所得轉為實際生產力與生產效益，因此平臺的服務效能主要體現在作物產量、作物收益等方面。考慮到農業綜合信息服務平臺僅為知識或服務輸出型系統，不涉及后續服務跟蹤與回訪，可對用戶有效評論進行中文分詞、特征項提取和本體庫映射，提取有關服務效能的關鍵詞句。

根據上述構建的評價指標體系以及數據來源分析，結合獲取數據的屬性特性，設計農業綜合信息服務平臺評價指標及數據類型，如表1所示。

表1 農業綜合信息服務平臺評價指標及數據類型

3.3 績效評價本體庫構建

根據“3.2”評價指標數據來源可知，平臺界面設計狀況、用戶使用情感、作物產量增幅和生產效益增幅均無法通過網絡爬蟲技術或并發模擬統計得到，而是來源于用戶評論文本，需要對用戶評論加以解析與理解。文本語義解析的基礎即構建績效評價本體庫，以該本體庫作為抽象知識，將用戶評論中的分詞特征項映射到本體庫中進行語義相似度計算，實現對用戶評論的語義分析與理解，對用戶評論中涉及的指標進行數值提取或等級分類。本研究選擇OWL作為農業綜合信息服務平臺績效評價本體描述語言［10］，并基于此構建績效評價本體庫，具體實現流程如下。

3.3.1 概念抽象 針對本研究平臺績效評價中需要進行語義分析的指標，對其實體重要概念與主要特征進行描述，主要包括界面設計、農作物和生產效益，對上述概念進一步細化，界面設計包括美觀設計、交互設計和邏輯設計等，農作物包括大豆、玉米和小麥等，生產效益包括農作物產量、產值和經濟收入等。

3.3.2 概念定義 對“3.3.1”中抽象出的概念進行定義，在本體庫中，所有的類都是物品“Thing”類的子類，上述概念“界面設計”“農作物”“生產效益”的類分別定義為“Inference”“Crop”“Benefits”，上述概念所具備的屬性與詳細描述如表2所示。

表2 績效評價領域部分實體類的屬性與詳細描述

3.3.3 約束條件定義 對上述實體之間的約束條件加以定義，如“Crop”類中的農作物產值與“Benefits”類中的生產效益等級二者之間是互為互逆關系的。

3.3.4 本體庫構建 在農業綜合信息服務平臺績效評價領域的實體、屬性、約束條件等定義的基礎上，采用Protégé軟件對本體進行編輯，以OWL為本體描述語言，構建績效評價本體庫。

3.3.5 創建本體實例 上述步驟可以實現基于OWL與Protégé的農業綜合信息服務平臺績效評價領域本體庫構建［11］，在具體應用中，需要對本體與屬性進行實例化，創建績效評價的本體實例。

3.4 績效評價模型

在績效評價指標體系確定的基礎上，農業綜合信息服務平臺的績效評價模型可分解為3步。

3.4.1 定義評價標準 對表1中的績效評價指標需逐一確定評價標準。將研究對象集中在省級層面農業綜合信息服務平臺，對于數值型指標，根據省級層面平臺績效的要求設置指標分類等級共分為5級（優、良、中、及格、不及格，值分別為4、3、2、1、0），如平臺信息數量在［0，102）定義為不及格；在［102，103）定義為及格；在［103，104）定義為中；在［104，105）定義為良，在［105，∞）定義為優。對于等級類別型指標，提取出用戶評論關于指標與指標值的特征項后，利用本體映射與語義分析將指標值映射到等級分類中，如“作物產量狀況”映射到“生產效益等級”中，確定具體的等級分類（優、良、中、及格、不及格）。

3.4.2 確定指標權重 對于農業綜合信息服務平臺績效評價而言，本研究所構建的評價指標體系龐大、指標眾多、對平臺績效的影響力不等，需要對指標權重進行確定。本研究采用層次分析法確定各指標的權重，具體步驟如下。

1）建立遞階層次結構模型。以省級農業綜合信息服務平臺績效評價為研究對象，對影響平臺績效的一級指標與二級指標構建遞階層次結構模型。

2）構造判斷矩陣。根據遞階層次結構模型，按照從上至下的順序構造判斷矩陣，判斷矩陣的取值來源于平臺績效評價準則，根據對準則的理解對矩陣中的元素進行兩兩重要性對比分析，然后對判斷矩陣進行權重賦值，判斷矩陣的取值采用如表3所示的九級標度法。如將2個元素進行對比，準則中認定前一個元素比后一個元素更為重要，且重要程度為強烈，則判斷矩陣的取值為7。

表3 判斷矩陣取值方法

3）層次單排序與一致性檢驗。對所構造的判斷矩陣A進行最大特征值λmax求解，其計算公式如下。

式中，A為判斷矩陣，W為判斷矩陣的特征向量，(AW)i為AW的第i個分量，λmax為判斷矩陣的最大特征值，n為影響因素數量。

由于判斷矩陣的結果具有一定的客觀性，因此需要進行一致性檢驗分析，根據最大特征值計算判斷矩陣的一致性指標，其計算公式如下。

式中，C.I.為一致性指標。

基于一致性指標C.I.與平均隨機一致性指標R.I.，可計算出隨機一致性比率檢驗數，其計算公式如下。

式中，C.R.為隨機一致性比率檢驗數，R.I.的取值與指標數量有關，在已知指標數量n的前提下，可以通過查詢相關表得到R.I.的取值。對計算得到的C.R.進行分析，若C.R.≤0.1，則表明判斷矩陣的一致性較好，否則認為檢驗不合格，要修正判斷矩陣，直至符合滿意的一致性標準。

4）層次總排序。從上至下逐層計算各項評價指標相對于平臺績效的影響綜合權重，最后得出各指標對農業綜合信息服務平臺績效影響值的排序結果。層次分析法采用優先權重作為區分指標影響程度的指標，權重的值域為［0，1］，權重越大表明指標重要性越高。

3.4.3 評價指標賦分與評價結果計算 對照評分標準，逐一對評價指標進行等級劃分與賦值（0、1、2、3、4），再利用各指標權重對分值進行加權計算，推算出農業綜合信息服務平臺績效的綜合評價值。

4 基于本體的農業綜合信息服務平臺績效評價模型應用

4.1 數據獲取與處理

表1所構建的農業綜合信息服務平臺績效評價指標體系中，平臺信息數量、平臺信息更新頻率、平臺信息瀏覽量、網站日平均訪問量和平臺信息轉發量等指標可由后臺統計獲得；網站PR值與用戶評分可由網絡爬蟲技術從Google PR值查詢頁面與平臺用戶評分頁面提取得到；網站訪問速度、運行穩定性則可以通過LoadRunner對平臺進行多用戶并發訪問模擬獲得。本研究重點對用戶使用情感以及基于本體與語義分析的平臺界面設計狀況、作物產量狀況和經濟收益狀況等數據獲取與處理過程進行詳述。

4.1.1 用戶使用情感 利用網絡爬蟲技術獲取用戶在農業綜合信息服務平臺上的評論，對用戶評論數據中暗含的情感進行剖析，計算用戶對平臺的情感態度分值（0～1：消極至積極），其實現流程如下。

1）評論分詞。首先對用戶評論進行分詞，本研究中利用Python的jieba庫進行分詞，但是所分出來的詞中會帶有很多常見冠詞、連詞、名詞等，如“我”“的”等詞語，為減少后續情感分析的工作量，需要去除這些停用詞。先讀取本地的停用詞表，創建一個停用詞列表stopwordslist，然后讀取用戶評論，通過jieba庫進行中文分詞，再與停用詞表中的詞進行對比，相同的詞替換成空白，最終生成想要的分詞表。

2）情感分析。Python的中文NLP庫snowNLP可以根據輸入的評論分詞進行判斷生成0～1的值，超過0.5就說明該評論是積極的，反之，就是消極的，數值越逼近0、1兩側，評論中蘊藏的情感越極端。snowNLP調用流程為在使用過程中將評論分詞讀取在鏈表中，由s=SnowNLP（）逐個選取，然后通過s.sentiments進行判斷得出情感態度分析結果，最后通過條形圖直觀地表現情感態度結果，snowNLP庫中對情感態度加以判斷使用的是貝葉斯算法。

4.1.2 基于本體的用戶評論語義分析與指標分類賦值 從用戶評論的構成來看，其基本元素為漢字和標點符號，詞匯由漢字構成，短語由詞匯構成，最終形成完整的句子以及具有上下文的評論文章。在對自然語言進行統計處理時（分詞、詞性標注、句法淺層分析），需要對句子進行精煉與形式化表達，以便進行后續的自然語言處理與理解。

向量空間模型VSM是當前最為常用的句子形式化表示模型，本研究將其應用于對用戶評論中各語義特征項進行形式化表達。VSM中的項是指用戶評論中的特征項，包括字、詞匯、短語等，定義ti為用戶評論中的特征項，則中文句子可表達為：

式中，SE為中文句子的特征項表達，n為中文句子的特征項數量。

對用戶評論進行向量化表示，通常一個中文句子對應一個向量，其結構如公式（4）所示，則擁有多個句子的用戶評論可表示為由多個向量構成的矩陣。本體映射可以通過句子向量與本體向量之間的內積或夾角余弦等進行計算與表示。

利用規則方法對用戶評論文本進行深層次分析。考慮到用戶評論的隨意性與自發性特征，如果使用詞類與句法范疇編寫文法規則，難以對其進行規則套用與語法分析，因此，本研究采用語義類對文法規則進行編寫。與句法結構類似，基于語義類對文法規則進行表達與刻畫的方式沿用樹形結構，在編寫好農業綜合信息服務平臺績效評價領域的語義語法后，可利用規則方法對該領域用戶評論進行句法分析。本研究采用基于動態文法的Phoenix分析器進行句法分析，實現流程如下。

2）從句子的左端開始，依次匹配每個活動槽，通過詞序列與本體的匹配生成句子的語義樹結構，并將語義樹結構存儲在節點序列中，其數據結構如下。

3）將構建好的語義樹結構按照XML格式進行存儲與表達，如用戶評論“咨詢了平臺專家關于水稻種子霉爛蛀蟲問題，采納了專家的處理方法，種子的出芽率高了一些”，可將其按照類別進行標記，如其根節點標記為Query-Benefits，意為“咨詢成效”，其子 節 點 標 記 為“Data-Seed”“Problem-Moth”“Benefits-Effective”“Data-Seed”的 子 節 點 為“Attribute-Bud”，具體結構通過規則分析、語義樹結構構建，最終可用XML表達如下。

4.2 指標權重確定

首先確定一級指標的權重。本研究中一級指標包括平臺資源、用戶體驗和服務效能3個評價指標，立足于省級農業綜合信息服務平臺績效考評準則，對一級評價指標兩兩之間的對比重要性進行分析，并標度各一級指標的重要性，一級評價指標的重要性標度如表4所示，平臺資源與服務效能相比，其重要性之比為2∶1。

表4 一級指標的重要性標度

通過表4構造判斷矩陣：

根據判斷矩陣計算最大特征值λmax為1.042，一致性指標C.I.為0.011 67，C.R.=0.024 3≤0.1，則表明判斷矩陣的一致性較好，符合一致性標準，無需對判斷矩陣進行修正。平臺資源的權重為0.4，用戶體驗的權重為0.4，服務效能的權重為0.2。

同樣基于績效考評準則對一級指標下細分的各二級指標兩兩之間的對比重要性進行分析，在對所有二級指標的權重計算完畢后，得到各一級指標下的層次單排序：

根據確定好的一級指標權重以及上述層次單排序，從上至下逐層計算各二級指標影響農業綜合信息服務平臺績效的綜合權重，結果如表5所示。

由表5可知，平臺資源和用戶體驗對農業綜合信息服務平臺績效影響較大，其權重均為0.4，比服務效能指標權重高0.2，權重越大表示其影響因子越大，對結果貢獻度越高。在平臺資源二級指標中，網站訪問速度權重最大，為0.084，是影響較大的一個因素；在用戶體驗二級指標中，用戶評分和網站日平均訪問量權重較大，均為0.092，是影響較大的因素；在服務效能二級指標中，作物產量狀況權重最大，為0.112，且在所有二級指標中影響最大，主要原因是農業綜合信息服務平臺主要是為了便捷地解決用戶的問題，而作物產量狀況直接影響到用戶的表達傾向和訴求傾向。

表5 農業綜合信息服務平臺績效影響因素的權重

4.3 績效評價

通過爬取與搜集中國東部、中部、西部地區的代表省份江蘇、河南、云南3省2020年的平臺日志信息以及用戶評論信息，按照上文中的指標維度進行劃分，并對用戶評論文本進行清洗和分詞，運用NLP技術將評論數據轉化成情感指標數據，情感值越大表示用戶對系統的喜歡程度越高，更能體現系統的用戶黏性。得到對應指標后，通過本研究提出的層次分析法確定各指標的權重，并根據表5的權重對應加權和，得到江蘇省、河南省、云南省的農業綜合信息服務平臺的績效分別為3.17、3.25、2.86，即河南省＞江蘇省＞云南省。為了測試結果的準確性，本研究隨機抽取各平臺的1 000個用戶，并參考本研究中的二級指標對用戶進行調研，每個指標滿分為100分，最后將所有指標加權求平均值，得到河南省、云南省、江蘇省的農業綜合信息服務平臺績效評分分別為83.25、80.32、83.07分，其排序結果為河南省＞江蘇省＞云南省，與本研究對農業綜合信息服務平臺的績效評價結果相符，因此證明本研究評價方法具有實際使用價值。

5 結論

農業綜合信息服務平臺是農業信息服務體系的重要組成部分，在農業信息化時代發揮重要作用。本研究針對農業綜合信息服務平臺的非營利性特征，從平臺資源、用戶體驗和服務效能3個角度構建“平臺-用戶”雙向互動式綜合績效評價指標體系。基于此，綜合網絡爬蟲技術、本體評價法、自然語言處理與語義分析技術對農業綜合信息服務平臺的績效數據源進行采集與處理；利用層次分析法確定績效評價指標權重；并利用加權計算法獲得農業綜合信息服務平臺績效，以量化評定各省級平臺的農業信息服務成效。結果表明，平臺資源和用戶體驗對農業綜合信息服務平臺績效影響較大；江蘇省、河南省和云南省農業綜合信息服務平臺績效評價結果分別為3.17、3.25、2.86，經驗證本研究評價方法具有實際使用價值。對于低績效的省份，應根據指標的重要程度，提升對應的服務質量；對于高績效的省份，應樹立標桿，加強省份之間的合作，為共同建立高質量的服務平臺打下堅實的基礎。

當前全國涉農服務平臺網站很多，但是規模大、綜合服務水平高的不多，農業綜合信息服務平臺作為面向涉農人員提供知識與技術支持的公益性平臺，應當著力增加特色農業專題數據庫量、互補性資源鏈接量，根據當地特色發展特色化服務；同時，平臺應順應潮流推出相應的App，融合微博、微信等不同應用軟件，提供更加全面的服務，以滿足不同群體的涉農用戶需求。