面向不同人群的林業網站績效評估差異分析

董 晨，吳保國＋，靳愛仙，馮峻極，顧紅波

（1.北京林業大學 信息學院，北京100083；2.國家林業局 信息化管理辦公室，北京100714）

0 引 言

為了全面了解和掌握林業網站建設的情況，建立網站評估指標體系是一項重要工作。國內外目前在建立績效指標體系的研究中有多種形式，其中，具有影響力的有：埃森哲公司提出的服務成熟度和客戶關系管理成熟度來衡量政府績效的方法［1］；美國公共行政學會 （ASPA）制定的電子政務績效評估的指標體系，體系包括政府網站狀況、基礎設置狀況和人力資源狀況［2］；新加坡南洋理工大學對新加坡政府門戶網站的網上服務指標進行了細分設計，構建了專門用于評估新加坡電子政務績效水平的評估體系［3］；Papadomichelaki等構建了政府網站信息服務評估模型，通過對希臘政府網站評估活動，對模型進行驗證和確認［4］；在歐洲，Francisco等通過調查問卷的形式，構建了政府門戶網站評價指標體系，該體系主要包括網站信息可獲取性、導航功能、內容質量、運行速度等重要因子［5］；在我國，中國軟件評測中心與中國信息化績效評估中心制定了中國政府網站績效評估指標體系，該體系在每年的評估活動中不斷進行完善［6］；電子政務思想庫網站發布文件 《全國十大城市政府門戶網站的初步調查與比較》，開始逐步嘗試使用國際性的電子政務模型對政府網站予以初步的測評等［7］。

然而，網站評估工作中，指標設定是難度最大，最受爭議的環節，其主要原因有兩個：①網站評估指標的建立基本都是根據個人經驗或者借鑒其它網站評估指標所得，具有較強的主觀性，同時，我國在網站評估指標制定方面也沒有形成統一的標準；②目前我國的網站評估活動，尤其是政府網站評估，基本都是政府自發舉行的，參與網站評估的人群通常是政府的相關人員，沒有面向社會其它群體。

本研究構建了林業網站績效評估指標體系，組織3類不同的人群對我國34個省 （區）市林業廳 （局）網站進行了評估，以選取不同類型的評估者為切入點，分析不同人群評估結果的差異性，從而發現網站評估工作中存在的問題。

1 林業網站績效評估指標體系建立

本研究在全國政府網站績效評估指標體系［8］、全國各地行政單位網站評估指標體［9］系基礎上，借鑒國內外典型的網站評估指標體系［10］，通過采用德爾菲法和層次分析法制定了我國省區市林業廳 （局）網站評估指標體系。

1.1 網站績效評估指標內容確定

研究采用德爾菲法 （Delphi method）［11］確定指標體系中的各項內容。在運用德爾菲法的結果判定中，采用專家意見的集中程度（式 （1））、專家意見的協調程度 （式 （2））和專家參與調查的程度［8］來證明判定的可信程度。在應用德爾菲法時，若上述三方面的指標均良好，則整個結果比較可信

式 （1）是專家意見的集中程度的數學表達式，其中，Kj代表滿分頻率，它表示對第j個方案打滿分的專家人數與對第j個方案參加評估的專家人數之比

式 （2）是專家意見協調程度的數學表達式，其中，σj表示專家對j方案評分的標準差，Mj表示j方案的算術平均值。

專家參與調查程度則采用專家人數來說明。

研究征集了20名專家 （德爾菲法樣本數中規定最低15人）對指標體系雛形進行判斷和意見采集，經過三輪的專家意見征集、指標內容修改，在最終一輪中得到最低Kj值為97.5%，最大意見協調程度CVk＝0.2，結果可信，從而確定了省區市林業廳局網站評估指標，其中一級指標5個，二級指標12項，三級指標36項，見表1。

1.2 指標權重確定

指標權重采用層次分析法 （analytic hierarchy process）［12］制定。權重的制定按照以下步驟進行：

（1）建立指標層次分析模型。研究中由于指標體系中二、三級指標內容較多，不便于兩兩比較，因此指標權重只賦予一級指標權重。

（2）構造判斷矩陣。研究選取了具有相同權重的5 名專家對一級指標進行兩兩判斷，共收集了5組數據。

（3）層次排序及其一致性檢驗。采用和積法［9］對每個專家所判斷的權重結果進行排序，并對判斷矩陣的最大特征根進行一致性檢驗 （CR 值）。5 名專家的層次排序及一致性檢驗結果見表2。各專家的CR 系數均小于0.1，因此5個判斷矩陣都具有滿意的一致性。通過各專家排序向量加權幾何平均，得出各一級指標的權重平均值。

實驗經過三輪的專家咨詢以及利用層次分析法進行指標權重賦予，最終確定了省區市林業廳局網站評估指標體系。

2 指標評測結果分析

2.1 評估過程與評測結果

研究利用上面制定的指標體系，選擇了除了西藏自治區以外的全國30個省區市，4個林業森工集團共計34個單位的林業政府門戶網站評估。為了從不同社會角度反映我國各省區市林業廳局網站的建設情況，結合樣本量的經驗判斷［13］，研究選取了國家林業局信息技術專家、信息化方向研究生和無林業專業背景的公眾三類不同性質的人群作為評估專家，每類選擇10人。其中，國家林業局信息技術專家人群是政府內部人員，代表林業網站建設的宏觀規劃和管理者。信息化方向研究生人群對與網站開發相關的信息技術了解程度較深，代表了IT 技術人員。無林業專業背景的公眾不具備林業知識和高深的信息技術水平，代表了社會人士。

評估者參考已建立的指標體系，訪問各個省區市林業廳局網站，根據三級指標內容對網站進行綜合評估打分，將三級指標分值匯總到一級指標下，結合根據每個一級指標所分配的權重，計算出省區市林業網站建設評估分值。

表1 省 （區）市林業廳 （局）網站評估指標體系

為了更好地考察網站評估指標體系的合理性，將三類人群評估差異情況進行一個系統的分析。

2.2 組內差異分析

2.2.1 國家林業局林業信息技術專家組評分結果分析

將10名林業信息技術專家對各個林業網站的得分情況繪制成趨勢線，如圖1所示。由圖1 可知，除了1 名專家對內蒙古森工集團和龍江森工的兩個網站的得分走勢與其它9名專家相反之外，10名專家對34個網站的得分走勢幾乎接近一致，說明10名林業信息技術專家對指標體系認知程度基本一致。

從各項一級指標的角度分析，經過各指標的加權、平均計算，求得每位專家對省區市林業廳局網站在一級指標和總分上得分率 （每位專家對網站在一級指標和總分上得分的平均分占相應指標總分的比例），見表3。從表3中得知，10名專家的總平均得分率為50.63%，說明信息技術專家對34個網站的打分情況普遍較低。在五項一級指標中，“在線服務”指標得分率最高為60.82%，說明專家對林業網站的在線服務功能相對較滿意，而 “特色服務”的平均得分率僅35.45%，說明各林業網站在特色功能建設、技術應用情況等較為欠缺。在各專家的評分比較中，8 號專家給出總分值最高，得分率為52.18%，6號專家給出最低分，得分率為48.45%。最低分和最高分得分率跨度差為3.73個百分比，10名專家的平均評估結果差別不大。

為了科學衡量10名專家在各一級指標中得分的差異，采用計算得分率標準差來進行比較。計算了總平均分和5個一級指標的得分率的標準差，10名專家總平均分的標準差為0.0138，在 “信息公開”指標上的得分差異較小，僅為0.0189，而 “公眾參與”指標的標準差相對最大，為0.0545，“在線服務”、 “網站設計與管理”和 “特色服務”指標標準差介于兩者之間。從標準差值說明，10名信息技術專家對網站的信息公開、主動公開和依申請公開等信息公開項目的認知度較為一致，而相對 “公眾參與”指標，專家對網站的互動交流、意見征集、訪談直播的建設情況的看法稍微些出入，說明公眾參與指標需要更加完善。但所有的一級指標得分率的標準差都在0.06以下，標準差很小，再次證實了專家內部對網站及指標體系的認知程度近似于一致，沒有出現較大分歧。

2.2.2 信息化研究生評分結果差異分析

從信息化研究生評估走勢圖 （圖2）中可知，10 名信息專業研究生對網站的評估結果總體趨勢大體一致，也存在一些較小的差異，經數據查看得知1號研究生對網站的打分有明顯的差異，最高分接近滿分，而最低分在10分以下，5號研究生對網站的打分普遍偏低，其余的研究生打分處在一個平均水平。從整體得分走勢圖說明信息化研究生內部對網站的總體認知程度差別不大。

信息化研究生的一級指標得分率見表4，10名研究生對網站評估的總體得分率為68.78%，分值較高，10 名研究生評估分數跨度為9.90%。各一級指標中，“信息公開”指標的總得分率較高，為77.77%，網站設計與管理的得分率最低，為52.96%。

表2 5名專家判斷矩陣排序及一致性檢驗結果

圖1 林業信息技術專家得分走勢

表3 10名林業信息技術專家一級指標得分率與標準差

圖2 信息研究生得分走勢

表4 10名信息研究生一級指標得分率和標準差

從總平均分和各項指標的得分率標準差來看，平均分標準差0.0434，指標 “信息公開”、“在線服務”的標準差相對較小，“公眾參與”和 “特色服務”的得分情況差異略大，“網站設計與管理”指標的得分率標準差最大。由表4可知，1號研究生在 “網站設計與管理”指標的平均得分率為75.74%，而5號專家的得分率只有39.8%，說明兩位研究生對該指標的理解存在一定的分歧，從研究生的得分率標準差來看，以標準差值0.06為界， “特色服務”、 “公眾參與”和“網站設計與管理”指標存在完善的必要性。

2.2.3 無林業專業背景的公眾評分結果分析

從圖3所知，無林業專業背景的公眾對林業網站的評估結果趨勢盡管較為一致，但在局部地區，如華北地區、西南地區和西北地區的林業網站評估結果，10名公眾的打分情況呈現出較為不規則狀態，相對于林業技術專家和信息化研究生，無林業專業背景的公眾則對網站建設的理解各有所求。

圖3 無林業專業背景的公眾得分走勢

在公眾對林業網站的評估結果中，各林業網站的總體平均得分率59.99%。10名公眾的各自評分值分布較均勻，但跨度較大，最高平均得分率為10號公眾的70.17%，最低為9號公眾的45.47%分，兩者差值達到了24.7%，說明2位評估者對指標的理解分歧較大。在各項一級指標中，“公眾參與”指標得分率普遍較低， “信息公開”指標得分率較高，其余在兩者之間，詳見表5。

從公眾的得分率標準差來看，較專家和研究生而言，公眾的總平均分標準差最大，為0.0760，指標 “信息公開”和 “特色服務”得分率標準差最大，通過訪談得知，公眾對政府網站的信息公開情況和網站特色功能建設、技術應用情況政府技能不甚了解，因此得分差別較大，同時，其余三項一級指標的標準差與其它兩類評估者相比，存在差異較大的現象。因此，對于無林業專業背景的公眾而言，網站的評估結果更加傾向于個人直覺的判斷，具有較大的主觀性。

經過三類人群的組內評估差異分析得知，10名林業技術專家評估結果大體一致，各項一級指標的標準差較小，說明專家內部對指標的認知程度和衡量網站建設的角度較統一。而10名研究生對網站的總體建設水平評估結果大體相同，但存在個別評估者對網站評分差值大的現象、同時在“網站設計與管理”、 “特色服務”及 “公眾參與”指標的理解存在一定的差異。10名公眾的評分標準則更加受到個人主觀的影響，總體得分和一級指標都存在差異較大的現象。

表5 10名無林業知識背景的公眾一級指標得分率

2.3 組間差異分析

2.3.1 網站總體得分差異

圖4反映的是三類評估者在各個單位評估總分上的垂直分布情況，從圖中可以看出，三類人群對各個省區市林業網站評估結果的趨勢走向大體一致，東南部地區的林業網站建設優于中西部地區。在三類評估人群中，林業信息技術專家打分最低，研究生打分大致偏高，公眾的打分位于兩者之間。

圖4 林業廳 （局）網站評估總分垂直線

將三類人群對每個林業網站的平均評估結果作一個頻數分析，得到的結果見表6，從標準差和全距兩個指標的角度分析，研究生所評估的34個林業網站建設水平的離散程度最大，說明研究生評估結果兩極分化相對較嚴重。離散程度相對較小的是無林業知識背景的公眾，其標準差和全距的數值為三類人群中的最小值。專家和公眾的評估結果的偏度大于零，說明該兩類人群的評估結果呈右偏分布，且公眾的偏斜度更大 （0.666＞0.197），說明該兩類人群的評估結果中，更多的林業網站得分低于平均水平，公眾的評估結果更明顯，而在研究生的評估結果中，其偏度值小于零，有更多的網站得分高于平均值，這一現象也可以通過中值指標體現。此外，三類人群的評估結果峰度值均小于零，數據分布較正態分布而言，更加平緩，由此可見三類人群的網站評估的分數分布都較均勻。

表6 林業廳 （局）網站評估結果頻數分布統計

2.3.2 一級指標得分差異

圖5顯示了三類人群對林業網站評估的一級指標得分率 （該得分率為每類人群在各項一級指標的平均得分與指標項總分的比率）。從圖中看出，三類人群的評估結果在信息公開、公眾參與和特色服務3個指標差異較大，在線服務指標差異最小，網站設計與管理指標其次。

表7和表8分別是三類評估者各項一級指標評估結果的相關性統計和三類評估者各項一級指標信度分析統計結果，現分別各一級指標對指標平均得分率、相關性和信度分析結果進行分析。

（1）在信息公開。在三類人群對信息公開標項的平均得分率中，其中林業信息技術專家打分較低，僅為48.65%，公眾其次，得分率66.15%，信息化研究生在該指標上的得分率高出了29.12個百分點。

為了說明三類數據的可靠性，對三類評估者對34個網站在信息公開指標所得的分數值，使用α模型，F檢驗，進行信度分析，在檢驗顯著的情況下，林業專家和公眾在信息公開指標上的相關性高于與信息化研究生之間的評分相關性 （0.921＞0.682），說明了在各個單位的得分中，信息化研究生的評估結果與其他兩類人較為不同。以Alpha信度系數0.5為界，從表8中得知三類數據的Alpha信度系數為0.905，信度系數大于0.5，說明總體上三類人群的評估結果是合理的。但無論是從校正的項總計相關性和多相關性的平方兩個指標的值來看，信息化研究生的系數值均小于其他兩類人，從剔除的信度系數來看，剔除研究生的評估結果后的Alpha 值大于總體的Alpha值，結合表8的結果，可以從標準差的差異和訪問每類評估者得出，研究生認為只要有指標項中提出的信息公開內容，網站就能得到相應的分數，但專家除了查閱網站是否存在相應的公開內容以外，還關注內容的質量、更新情況等。從信度分析的結果說明，研究生的評估結果與其他兩類人群的評估結果有較大的偏離。以上分析說明了三類人群對信息公開指標的理解程度具有較大差異，在指標完善上，應該更加詳細化或加上相應的指標說明。

（2）在線服務。在圖5所示的在線服務指標的平均得分率中，林業專家和公眾的得分率值接近，分別為60.82%和60.89%，研究生得分率略高，為65.79%，最大值和最小值相差4.97個百分點。

從相關性分析中得出，信息化研究生的評估結果與公眾的評估結果相關性最低，而通過信度分析表明，三類數據的Alpha信度系數為0.778，大于0.5，總體上三類人群的評估結果具有合理性，但信息化研究生在校正的項總計相關性和多相關性的平方數據處于最低值，且剔除研究生的評估結果后的Alpha值大于總體的Alpha值，因此信息化研究生的評估結果具有較低的相關性，評估結果需要進一步審核。

從以上分析得知，三類人群在在線服務指標上的得分差異較小，說明三類人群在該指標項上的認知程度一致性較高，該指標相對較完善，但研究生的評估結果依然與其他兩類人群的評估結果有所偏離。

圖5 一級指標平均得分率

表7 三類評估者各項一級指標評估結果相關性

表8 三類評估者各項一級指標信度分析統計量

（3）公眾參與。在公眾參與指標中，研究生給予的分值最高，得分率為61.31%，公眾給了最低分，得分率為47.90%，兩者相差13.41個百分點，而專家的得分率位于兩者之間。

經過信度分析可知，與前面兩個指標相比，三類評估者在公眾參與指標的評估結果的差異性相對較大，研究生和公眾的相關性指標僅為0.462，總體Alpha信度系數數據大于0.5，盡管說明總體上三類人群的評估結果具有合理性，但校正的項總計相關性和多相關性的平方數據均低于前面兩項指標，尤其是研究生的評估結果，剔除后的Alpha值大于總體的Alpha值。

三類人群對公眾參與指標的評估結果存在較大的差異，經過實際的訪談得知，研究生的評估更加注重互動交流平臺的建設，而公眾看重于平臺的真實運用，而目前多數林業網站建設了公眾參與平臺，但與用戶的互動情況不夠理想。從信度分析得知，信息化研究生的評估結果較專家和公眾而言，依然具有一定的爭議性。

（4）網站設計與管理。在該指標的評估結果中，林業專家的分數最低，得分率47.97%，其次分別是研究生（52.96%）和公眾 （56.89%），兩兩得分率呈現非絕對的等差數列分布，差值在4－5個百分點。

在相關性分析中，研究生和公眾的評估結果系數最低，為0.592，專家與公眾的相關性最高，為0.770。而公眾和研究生的多相關性平方均相對較低，但所有評估者剔除后的Alpha都想與總體的Alpha值，充分說明說明總體上三類人群的評估結果具有較高的合理性和緊湊性。

從標準差值和信度分析的結果得知，三類人群在網站設計與管理指標上的得分差異并不大，說明該項指標設計相對較合理，同時三類人群的評估結果相關性較高。通過之前的分析得知研究生在該項指標上打分較大地低于其所打的其它指標的分值，說明林業專家和研究生其對網站的美觀程度和總體功能服務有著較高的要求。

（5）特色服務。三類評估者在特色服務指標的評估結果中，研究生和公眾的得分率差異較小，分別為59.27%和55.41%，而林業專家在該項上的得分率較低，僅為34.45%，得分率落差達到23.82個百分點。

三類人群在該指標項評估結果的相關系數均低于0.7，研究生和公眾的相關系數最低，為0.573，多相關性平方的系數均較低，但從總體的Alpha值和項已刪除的Alpha值來看，三類評估者的評估結果還是具有一定的合理性和緊湊性。

經過得分率差異分析和實際調查得知，林業專家對該指標項的理解是網站達到其余指標項要求后的創新之處，而85%的研究生和公眾對該指標的理解則是網站的整體功能服務建設。說明該指標面對不同的人群有不同的見解，因此指標內容需要完善。信度分析則說明了三類人群的評估結果沒有出現偏離。

通過組間差異分析得知，三類人群在34個網站的總分趨勢上大體一致，但在各一級指標得分的兩兩相關性分析中，依然存在不同程度的差異性。從標準差差異分析得知，信息公開、公眾參與和特色服務指標存在差異較大，需要進一步完善。在信度分析中得知，信息化研究生與其他兩類人的相關系數均處于最低值，同時，其對34個網站的評估結果離散程度最大，且在信息公開、在線服務和公眾參與三項指標上的評估結果較為不同。而林業專家和公眾的評估結果則相對具有較高的一致性。

3 結束語

本文采用德爾菲法和層次分析法制定了省區市林業廳（局）網站評估指標體系，選用三類不同人群對網站進行評估，評估指標基本合理，評估結果得到各省 （區）市林業廳 （局）的認可。

通過分析不同人群的評估差異，結果表明，一級指標中的 “信息公開”、“網站設計與管理”和 “特色服務”3個指標評估結果在不同的人群中相對差異較大。評估的差異性說明了這些指標存在一定的定性因素，公眾在評估過程中注重的是對網站的第一感覺，對林業政府網站的信息公開、林業政策制度建設、政府功能服務等情況相對陌生，研究生更多關注了網站開發的信息技術水平，而林業專家則更多地站在林業政府的角度，對網站內容給予更加專業的要求。每人都有自己的判定標準，因此造成了評估結果的不一致。

因此，在今后的政府網站評估工作中，必須注意以下三點：

（1）提高指標體系內容和權重的合理性。在指標的篩選和完善上，增加指標定量因素，適當地降低指標的定性因素，使得定量與定性指標相結合，同時指標內容要便于理解。

（2）建立具有代表性的評估隊伍。評估對象涉及面要廣泛，進行分類選擇人群，每類都要有一定數量的人，盡可能讓評估結果反應出政府對社會的作用。

（3）對指標體系進行有針對性地分類。根據不同的人群，對指標體系進行分類，不同的指標類別由與之最相關的人群進行評估。

［1］Zhu X H，Zhang J.Situation and countermeasure research of government website performance ［J］.Applied Mechanics and Materials，2013，380：1986－1990.

［2］Zou K，Liu L.Design and implementation of local government gateway website performance evaluation system ［C］//International Conference on Computer Science and Service System.IEEE，2011：3141－3144.

［3］Jeremy Lim，Clive Tan.Strategic orientations in singapore healthcare［J］.The Business Times，2011 （9）：16－22.

［4］Papadomichelaki X，Mentzas G.e－GovQual：A multiple－item scale for assessing e－government service quality ［J］.Government Information Quarterly，2012，29 （1）：98－109.

［5］Francisco Javier Miranda.Quantitative assessment of European municipal web sites development and use of an evaluation tool［J］.Internet Research，2009，19 （4）：425－441.

［6］CHENG Fei.Research on e－government websites evaluation models and methods of the science and technology department［D］.Hefei：Hefei University of Technology，2007 （in Chinese）.［程飛.科技系統電子政務網站評價模型與方法研究［D］.合肥：合肥工業大學，2007.］

［7］A preliminary investigation and comparison of the government portal websites in top ten cities in China ［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org（in Chinese）.［全國十大城市政府門戶網站的初步調查與比較［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org.］

［8］ZHOU Liang，ZHANG Shaotong.Design of Chinese government website performance evaluation index system in 2008 ［J］.E－government，2009 （12）：51－55 （in Chinese）.［周亮，張少彤.2008年中國政府網站績效評估指標體系設計說明 ［J］.電子政務，2009 （12）：51－55.］

［9］ZHOU Liang，WANG Qingmeng，BAI Chao，et al.Design of the local government websites performance evaluation index in 2010 ［J］.E－Government，2011 （1）：30－35 （in Chinese）.［周亮，王慶蒙，白超，等.2010年地方政府網站績效評估指標設計思路 ［J］.電子政務，2011 （1）：30－35.］

［10］Guo Y，Shou Z.The government website performance evaluation system based on the third－party assessment model［C］//International Conference on E－Business and E－Government.IEEE，2011：1－3.

［11］Wang X，Gao Z，Guo H.Delphi method for estimating uncertainty distributions［J］.Information：An International Interdisciplinary Journal，2012，15 （2）：449－460.

［12］Saaty T L.Analytic hierarchy process［M］.Encyclopedia of Operations Research and Management Science.Springer US，2013：52－64.

［13］YUAN Jianwen，LI Keyan.A comparative study on sample size calculation method［J］.Statistics and Decision，2013，29 （1）：22－24（in Chinese）.［袁建文，李科研.關于樣本量計算方法的比較研究［J］.統計與決策，2013，29 （1）：22－24.］