公安應用創新項目成果評價指標體系研究

經驗人：于寶剛

公安應用創新項目成果評價指標體系研究

經驗人：于寶剛

開展公安應用創新項目成果評價是一項重要的科研管理工作。結合公安應用創新項目特點，依據成果評價指標體系的構建原則，結合文獻調研和專家咨詢，構建了一套由5個一級指標、17個二級指標組成的成果評價指標體系。利用層次分析法計算了各級指標的權重，建立了基于加權平均求和法的公安應用創新項目成果評價方法。

多年來，為適應國家科技體制改革和公安工作改革形勢，公安科技管理部門及時調整、出臺相應的科技管理政策，有效地推動了公安科技的不斷發展和進步。但是，在公安科技項目管理過程中，我們發現公安應用創新項目存在著較為突出的問題，即項目成果的創新程度不夠高、實用性不夠強。應用創新計劃項目的關鍵是應用與創新。反思現階段的應用創新項目結題驗收后，不排除部分項目成果因社會、技術、經濟等因素限制影響了推廣轉化而被束之高閣，但還是有大部分的成果屬于落后研究，或者是實用價值不大，甚至是重復研究。項目成果評價工作遇到了新的問題，產生了新的挑戰。因此，通過構建一套較為系統科學的項目成果評價指標體系，提高項目管理的規范性，推動項目成果的應用性和創新性，已成為一項亟需開展的工作。

設計指標遵循的原則

公安應用創新項目特點鮮明，強調成果應用實際效果，主要開展應用技術研究和實用產品裝備研發，為提升公安科技創新能力提供科技支撐。設計指標體系是項目成果評價工作中的一項基礎而又關鍵的工作，但要確立一套能全面、準確地反映研究成果技術水平的指標體系，是一項十分復雜和因難的工程。因此，研究設計項目成果評價指標體系時應該遵循導向性、科學性、系統性、獨立性、可對比性、簡明可行性等6項原則。

構建評價指標體系

以“應用成果評價”、“技術成果評價”、“成果評價指標”為主題對同方知網的期刊、學位論文進行檢索。通過檢索，共檢索到與應用類成果評價指標體系密切相關的文獻有40余篇。通過拆分、合并，共抽取出20余項評價指標，如科學性、創新性、先進性、技術重現性和成熟度、技術難度和復雜程度、經濟效益、社會效益、推廣前景、推動科技進步的作用、技術文件、知識產權狀態、論文引用評價、成果風險評價、技術壁壘評價等。

公安應用創新項目成果是指為落實科技強警戰略、提高公安科技研發能力和實戰科技應用水平、促進公安事業繁榮發展，針對公安業務實戰需求，按照突出重點、貼近基層、聚焦實戰、快速見效的原則，開展新型使用產品、軟件系統開發及應用技術方法等應用性創新技術而研發的具有實用價值的成果。根據定義，依據設計指標體系應遵循的基本原則，我們對公安應用創新項目成果運用系統論的觀點進行系統分析，分別就上述評價指標進行預選，并咨詢多名從事科研管理的專家，不斷地進行修正完善，對指標做了進一步的篩選，剔除了一些重復、大部分相關或鑒別力不強的指標，最終構建了公安應用創新項目成果評價指標體系，共計5個一級指標、17個二級指標。（表1）。

表1　公安應用創新項目成果評價指標體系

計算指標權重

層次分析法（AHP）

層次分析法（analytic hierarchy process， AHP）是一種把復雜問題分解成若干因素，按照因素屬性的不同將其分組形成有序的遞階層次結構的方法。采用1～9的比例標度，通過兩兩比較判斷，區分確定層次中各因素的相對重要性，構造判斷矩陣，計算各因素的相應權重。層次分析法是一種運用定量與定性相結合，將人的主觀判斷用定量形式表達和處理的方法，改變了長久以來決策者與決策分析者之間難以溝通的現狀，有效提高了決策的可信性、有效性和可行性。AHP的基本步驟為：明確問題并確定目標，根據因素屬性不同確定因素間關系，建立遞階層次結構；對于某一層次因素下一層次的所有因素的重要性進行兩兩比較，構造兩兩比較判斷矩陣；根據兩兩比較判斷矩陣計算被比較因素的相對權重，即進行層次單排序，并對判斷矩陣進行一致性檢驗。

（1）構造遞階層次結構

將消防部隊應急救援能力綜合評估指標體系分三層，第一層A為基層消防部隊應急救援能力即總目標，第二層B包括應急救援人員、應急救援器材裝備、應急組織管理和應急救援保障四個子系統，第三層C即每個子系統下面的若干個子指標項。

（2）構造判斷矩陣

假定A層中Ak因素與下一層B1，B2，……，Bn因素有關聯，則可構造2所示的判斷矩陣：

表2　判斷矩陣

表2中，bij是相對Ak而言，用Bi對Bj相對重要性的數值來表示，通常bij取1，2，3，…，9及其倒數，其標度含義如表3所示：

表3　9標度含義

（4）判斷矩陣的一致性檢驗

（3）單層指標權重的確定

表4　平均隨機一致性指標RI的數值

（5）計算系統目標的合成權重

確定同一層次上不同因素對總目標的相對重要性的權值排序稱為層次總排序，這一過程是由最高層次到最低層次逐層進行的。層次總排序完成后，仍舊需要進行與單排序類似的一致性檢驗，當層次總排序隨機一致性比率時，認為層次總排序結果具有滿意的一致性，否則需要重新調整判斷矩陣的元素取值。

若上一層A包含m個A1，A2，…，Am因素，層次總排序的權值分別為a1，a2，…am，下一層B包含n個B1，B2，…，Bn因素，它們對于Ai因素的層次單排序的權值分別為b1i，b2i，…，bni（當Bk與Ai無聯系時，則bki=0），此時B層次總排序的權值依據公式

當層次評價指標權重計算

利用層次分析法計算指標的權重。通過參閱部分成果評價方面的相關文獻，咨詢一部分熟悉成果評價工作的專家，構造了一、二級指標判斷矩陣并計算了各指標權重（表5～10）

表5　公安應用創新項目成果評價一級指標判斷矩陣及權重

表6　公安應用創新項目成果科學性二級指標判斷矩陣及權重

表7　公安應用創新項目成果先進性與創新性二級指標判斷矩陣及權重

表8　公安應用創新項目成果難度與工作量二級指標判斷矩陣及權重

表9　公安應用創新項目成果成熟度與適用性二級指標判斷矩陣及權重

表10　公安應用創新項目成果社會效益與經濟效益二級指標判斷矩陣及權重

評價指標合成權重計算

相對總目標A的權重是根據每個指標相對上一層次對應因素的權重值，通過層次總排序計算其相對于總目標的權重值。各層次指標相對于總目標的權重值如表11所示。

表11　公安應用創新項目成果評價指標體系各指標權重

項目成果綜合評價價值計算方法

采用加權平均求和法計算項目成果評價值，方法如下：

為了成果評價的客觀性，可以對每個二級評價指標劃分評價等級，采用“百分制”，每個等級制定相應的評分標準。評價專家首先根據指標評分標準對二級指標打分，根據公式（其中，F是某專家給被評價成果的評分，Xi是該專家根據指標評分標準對某項指標的具體評分，Wi是該項指標的權重）計算得出各二級指標的得分，加權求和后就是該成果的總得分。

結語

（1）在文獻調研和專家咨詢的基礎上，結合公安應用創新項目特點，建立了一套較為科學合理的項目成果評價指標體系，運用層次分析法計算了各指標的權重，采用加權平均求和法可以計算出項目成果的評價值，建立了定性評價與定量評價相結合的項目成果評價方式。

（2）項目成果評價工作是一項比較復雜的系統工程，涉及較多的影響因素，構建的項目成果評價指標體系，無論是一級指標還是二級指標，均需要通過實踐運用進一步修改和完善，以便更加符合公安科技工作的實際。

10.3969/j.issn.1001-8972.2015.15.056