基于BSC-AHP的國防研發項目績效審計評價指標體系研究

孫勇閣 伍學進 朱殿驊

[摘要]隨著科研經費投入規模的不斷擴大，科研單位、院校承擔的國防科研項目日益增多，要提高國防科研經費的使用效益，擴大科研成果，開展國防研發項目績效審計勢在必行。以平衡記分卡理論為基礎，建立包含財務管理、利益相關者、內部流程、學習與成長四個維度的國防研發項目績效審計評價指標框架，通過問卷調查和層次分析法確定相關指標權重，構建具有可操作性的國防研發項目績效審計評價指標體系，對開展國防研發項目績效審計實踐具有一定的參考意義。

[關鍵詞]國防研發項目? ? 績效審計? ? 指標體系

本文系江蘇省公共工程審計重點實驗室（南京審計大學）2016年度重點項目課題（GGSS201605）

一、引言

軍隊審計是獨立的軍事經濟監督活動，開展軍隊審計監督對于揭示和查處軍隊財經違紀違法行為、提升軍費使用效益具有重要意義。探索開展國防研發項目績效審計，是提升國防研發項目經費使用效益、推動軍隊審計事業創新發展的有效途徑，而開展國防研發項目績效審計，需要一套科學合理的國防研發項目績效審計評價指標體系。為此，本文將平衡記分卡理論（BSC）和層次分析法（AHP）相結合，在問卷調查的基礎上，探索制定一套具有可操作性的國防研發項目績效審計評價指標體系。

二、理論基礎

（一）平衡記分卡

平衡記分卡是由哈佛大學商學院教授羅伯特·卡普蘭和美國復興方案公司總裁戴維·諾頓于1992年在《哈佛商業評論》上提出的一種績效測評模式。最初主要應用于企業績效管理，后逐漸延伸至績效審計領域。平衡記分卡理論的核心是從特定組織的戰略或使命出發，對其戰略目標進行分解，從財務管理、顧客（相關利益主體）、內部業務流程、學習與成長四個主要維度設置衡量指標，不同維度下再增設不同獨立指標，并為其賦予一定權重，從而構建一套完整的績效評價體系。

在國防研發項目績效審計中，以平衡記分卡作為理論基礎，可行性主要基于以下三點：一是平衡記分卡與國防研發項目績效審計理念具有共通性。國防研發項目績效審計體現了政府對其研發項目承擔主體受托責任的監督檢查，即依靠審計部門對承擔主體履行受托責任的優劣進行審查。其目標不僅是要查出問題，還要針對存在的問題提出相應的建議、改進措施，從而促使研發部門更好地履行責任。而平衡計分卡作為持續評價、改進特定組織績效的工具，本質上就是對研發主體的受托責任進行分解，通過評價指標目標值的完成情況來評價受托責任的完成情況，并通過評價結果提出改進建議。二是平衡計分卡有助于國防研發項目績效審計標準的制定和指標的選取。平衡計分卡將財務指標與非財務指標、內部指標與外部指標、事后指標和事前指標、短期指標和長期指標綜合考慮，提供的多維度綜合分析評價指標體系能有效滿足國防研發項目績效審計的要求。三是二者在不同程度上都體現了平衡思想。平衡記分卡作為建立在平衡理念基礎上的戰略管理工具，既體現了績效審計“3E”（經濟性、效率性、效果性）之間相互協調、平衡的理念，同時也實現了外部衡量與內部衡量、短期目標與長期目標、成果與成果動因、定量衡量與定性衡量之間的平衡。

（二）層次分析法

層次分析法是由美國運籌學家薩蒂在20世紀70年代提出的一種以定性與定量相結合為最主要特征的決策分析方法。將決策問題分為若干個層次，通過對不同層次各影響因素間兩兩權衡比較的主觀判斷信息，確定不同指標之間的相對重要性，遞歸計算出各評價指標的總體權重，從而有效解決綜合評價中主觀性評價指標的權重確定問題。

運用層次分析法確定國防研發項目績效審計評價指標體系中各項評價指標權重的基本步驟如下：

第一步，建立國防研發項目績效審計評價的層次分析結構圖，確定目標和評價因素集u。

第二步，構造具體的評價矩陣。用A表示目標，ui表示評價因素（）。uij表示ui相對于uj，j=1，2…，n的相對重要性水平，uij的取值通常采用薩蒂教授提出的標度法，根據各個uij值得到判斷矩陣P，該矩陣稱為A–U判斷矩陣。

第三步，計算相對重要性的排序。根據A–U判斷矩陣，求出最大特征根所對應的特征向量，所求特征向量即為各評價因素的重要性排序，也就是各因素的權重分配。

第四步，檢驗。對判斷矩陣進行一致性檢驗，當一致性系數CR<0.10時，即可以判定該判斷矩陣的隨機一致性符合標準，說明評價者對評價指標的主觀賦權具有較強的合理性，否則需要調整判斷矩陣，直到判斷矩陣的隨機一致性達到標準。

三、國防研發項目績效審計評價指標體系構建

指標體系的設置是開展國防研發項目績效審計評價的前提和基礎，也是影響績效審計評價的關鍵因素之一。指標選取與計算是否科學、指標體系是否合理直接關系到研發項目績效評價的成敗。因此，研究構建科學合理的績效審計評價指標體系至關重要。

（一）國防研發項目績效審計評價指標的設置原則

國防研發項目績效審計評價指標的設置，要能夠反映評價對象的主要情況，能夠說明評價對象的因果關系，要符合國防研發項目管理的要求。同時，對國防研發項目開展績效審計評價是一項政策性、專業性、技術性較強的專業活動。為確保審計評價工作達到預期目標，確保指標體系系統完備、邏輯嚴密，評價指標的設置和選取應當遵循以下基本原則。

1.目的性原則。構建國防研發項目績效審計評價指標體系的主要目的是推動研發項目績效審計評價的科學化、規范化，從而擴大審計監督成果，發揮審計服務建設職能。設計指標和構建績效審計評價指標體系要始終圍繞這一核心目標。

2.相關性原則。相關性原則是指國防研發項目績效審計評價指標應當與國防研發活動具有高度的相關性，能夠充分反映國防研發項目績效審計與其他績效審計項目（如軍事設施建設項目績效審計項目）的區別，突出國防研發項目績效審計的特色。

3.系統性原則。國防研發項目績效審計評價指標是衡量、監測和評價國防研發項目經費支出經濟性、效率性和效果性的系統量化載體，因而，評價指標的選取設計應當注重評價指標間的內在邏輯關系，通過不同層級的評價指標，綜合、全面地反映國防研發項目的績效情況，避免出現對評價指標的簡單堆疊。

4.重要性原則。國防研發項目績效審計評價指標的設計，應當突出反映國防研發項目的重要方面和關鍵內容，力求簡潔明了、有所側重，既要避免遺漏影響國防研發項目績效的關鍵環節或重要節點，又要適當控制評價指標體系的規模，避免評價點之間的交叉重復，同時節約評價成本。

5.可操作性原則。國防研發項目績效審計評價指標體系的設計是為有效開展績效審計服務的，因而指標體系設計應力求簡潔明了，便于審計人員的理解和運用。同時，相關指標數據應當采集方便，評價過程應當易于操作。

6.定量與定性相結合原則。定性指標和定量指標都是開展績效審計評價需要用到的，將定量指標與定性指標相結合，能夠使評價結果更加公允、合理、客觀、準確。

（二）國防研發項目績效審計具體評價指標的選取

1.財務管理維度。財務管理維度反映的是國防研發項目的財務管理是否規范有序，所投入研發經費是否達到了良好的使用效果，由以下5個評價指標構成：

（1）預算經費保障情況。經費預算保障情況（A1）反映的是國防研發項目是否獲得了充足的預算保障，該指標屬于定量指標，用預算經費到位率來衡量，其計算公式為：

經費預算到位率=已撥付預算資金/國防研發項目預算×100%

（2）預算變更調整情況。預算變更調整情況（A2）反映的是國防研發項目是否嚴格依照軍隊預算管理規定進行調整，由于預算變更調整并非越少越好，而是根據國防研發項目開展的具體情況分析，因而該項指標宜設計為定性指標，由審計人員根據預算調整幅度、預算調整及時性、預算調整審批程序等內容作出綜合判斷，在1至5的范圍內確定分值，其中1表示差，3表示一般，5表示好。

（3）資金使用管理情況。資金使用管理情況（A3）反映的是國防研發項目經費使用管理是否規范，有無違法軍隊財經法規制度的情況。由于財經違紀違法行為不僅要根據問題金額判斷，還要結合問題的性質來考量，因而該指標宜設計為定性指標，由審計人員根據被審計單位的國防研發項目經費使用管理情況作出綜合判斷，賦值方法同指標A2。

（4）全成本核算情況。全成本核算情況（A4）反映的是與國防研發項目相關的經費支出是否全部納入國防研發項目的成本核算中，有無擠占挪用其他項目經費或預算經費的情況，該指標屬于定量指標，用項目外支出比率來衡量，其計算公式為：

項目外支出比率=應納入未納入國防研發項目的經費支出額/國防研發項目預算×100%

（5）項目成本控制情況。項目成本控制情況（A5）反映的是國防研發項目是否進行了良好的成本管控，有無超指標、超預算情況，該指標屬于定量指標，用預算偏離率來衡量，其計算公式為：

預算偏離率=100%-|（國防研發項目實際支出額-國防研發項目預算）/國防研發項目預算|×100%

2.利益相關者維度。利益相關者維度衡量的是與國防研發項目相關的行業主管部門、科研主管部門、成果預期使用單位對國防研發項目成果的滿意程度，由以下3項指標構成：

（1）行業主管部門滿意度。行業主管部門滿意度（B1）反映的是國防研發項目行業主管部門對研發活動過程和研發成果與其期望值的符合程度，該指標屬于定性指標，由行業主管部門的受訪者根據實際情況打分，在1至5的范圍內確定分值，其中1表示不滿意，3表示一般，5表示滿意。

（2）科研主管部門滿意度。科研主管部門滿意度（B2）反映的是國防研發項目的科研主管部門對研發活動和研發結果的滿意程度，該指標同樣屬于定性指標，由科研主管部門的受訪者根據實際情況打分，具體評分辦法與B1指標相同。

（3）成果預期使用單位滿意度。成果預期使用單位滿意度（B3）反映的是國防研發項目的成果預期使用單位對研發過程和研發結果的滿意程度，該指標同樣屬于定性指標，由成果預期使用單位的相關人員打分，具體評分辦法與B1指標相同。

3.內部流程維度。內部流程維度是從全過程管理角度來評價國防研發項目的規范化程度，是構成國防研發項目績效的最重要方面。國防研發項目的生命周期通常可以劃分為立項、方案、實施和驗收評估四個階段，按照這四個階段的重要管理控制活動來設立評價指標：

（1）立項階段。主要任務是通過論證和進行必要的實驗，初步確定重要技術指標、總體技術方案，以及初步研發經費、研發周期和保障條件，編制研發項目總要求和可行性研究報告。立項階段由以下6個評價指標構成，這些指標均為定性評價指標。一是項目需求明晰性（C11），衡量項目研發需求是否清晰，項目的軍事意義是否明確。二是研究內容創新性（C12），衡量研發項目所研究的內容是否處于前沿水平，具有較強的創新價值。三是技術指標合理性（C13），衡量研發項目所確立的重要技術指標是否科學合理。四是立項條件成熟性（C14），衡量研發項目立項的條件是否全面成熟。五是經費概算準確性（C15），衡量研發項目經費需求概算是否合理，是否與研發項目所需要的資源投入相匹配。六是可行性研究充分性（C16），衡量研發項目的可行性研究是否全面充分，所形成的可行性研究報告，是否能夠全面反映項目研究開發過程中可能遇到的困難及解決措施。

（2）方案階段。主要任務是根據批準的研發項目總要求，在可行性研究報告的基礎上，開展研發項目具體方案的驗證和論證，形成研制任務書。立項階段由以下6個評價指標構成，這些指標均為定性評價指標：一是技術儲備充分性（C21），衡量與研發項目相關的技術是否成熟、完備。二是關鍵技術把握度（C22），衡量對研發項目所涉及的關鍵技術把握的正確程度。三是技術路線可行性（C23），衡量研發項目技術路線設計是否合理、可行，總體方案是否為可替代方案中的最優者。四是任務分解合理性（C24），衡量研發任務的分解是否科學合理，任務分工是否明確，任務邊界是否清晰。五是經費預算科學性（C25），衡量研發預算編制是否依據充分、測算準確、項目完備、內容細化。六是研制任務書規范性（C26），衡量所編制的研制任務書是否內容全面、規范嚴謹，能夠為指導實施階段的工作提供堅實基礎。

（3）實施階段。主要任務是根據批準的研制任務書進行具體的設計、試制和試驗工作，在相關研制工作完成之后，對產品的性能和使用要求進行全面考核，以確認其是否達到研制任務書和合同的要求，對產品批量生產條件和質量穩定情況進行全面考核，以確認其是否達到批量生產標準。實施階段由以下5個評價指標構成，這些指標均為定性評價指標：一是項目進展吻合度（C31），衡量國防研發項目的進展與項目階段目標、時間計劃的吻合程度。二是技術路線遵循度（C32），衡量國防研發項目是否嚴格遵循了預定技術路線。三是研發資源保障度（C33），衡量研發人員、裝備、資金等資源能否充分保障研發任務需要。四是檔案記錄完整度（C34），衡量研發過程中的相關檔案資料記錄是否規范完整，研發全生命周期是否實行了有效的痕跡管理。五是研發風險管控度（C35），衡量對研發過程中可能出現的風險是否作出充分預估，是否及時采取了行之有效的風險管控措施，確保項目風險可控。

（4）驗收評估階段。主要任務是在項目研制滿足合同規定的實驗室檢測驗收條件時開展實驗室檢測，當檢測結果全部滿足研制任務書要求時，進行使用方驗收。同時，根據實驗室驗收和使用方驗收結果，對國防研發項目的目標達成情況、成果價值、創新程度等進行評估。驗收評估階段由以下4個評價指標構成，其中既有定性指標也有定量指標：

一是研發目標完成度（C41），反映既定研發目標的完成情況，該指標屬于定量指標，用研發合同任務完成率來衡量，其計算公式為：

研發合同任務完成率=實際完成研發任務量/合同約定任務量×100%

二是研發成果價值（C42），反映研發項目的成果轉化情況，用所取得的專利技術預期價值總額來衡量，其計算公式為：

研發成果價值=ΣXi（其中Xi表示專利技術i的預期價值）

三是研發項目創新度（C43），反映研發項目是否取得了重要技術創新，在一定程度上填補了技術空白，更新或完善了技術方法，該指標屬于定性指標，由審計人員在1至5的范圍內確定分值，其中1表示差，3表示一般，5表示好。

四是研發項目影響力（C44），反映研發項目能夠產生的軍事影響、技術影響、經濟影響和社會影響等，該指標屬于定性指標，由審計人員在綜合評估基礎上，在1至5的范圍內確定分值，其中1表示差，3表示一般，5表示好。

4.學習與成長維度。在平衡記分卡理論模型中，學習與成長目標為其他3個維度目標的實現提供了基礎架構，在企業績效評價中，學習與成長維度通常涉及員工能力、信息系統能力等指標。將平衡記分卡運用到國防研發項目績效審計評價時，學習與成長維度應當反映影響研發項目績效的內在軟件因素，包括研發人員投入使用情況和研發項目組織管理水平兩個指標。

（1）研發人員投入使用情況（D1）。反映研發項目單位對研發人力資源的配置使用情況，研發團隊的穩定情況以及研發人員的學習成長情況，該指標屬于定性指標，由審計人員在1至5的范圍內確定分值，其中1表示差，3表示一般，5表示好。

（2）研發項目組織管理水平（D2）。反映研發項目單位對整個研發項目全過程的組織管理水平，包括相關機構設置的規范性、任務分工的科學性、節點審查的及時性、有效性等，該指標屬于定性指標，由審計人員在1至5的范圍內確定分值，其中1表示差，3表示一般，5表示好。

（三）國防研發項目績效審計評價指標的賦權

根據層次分析法原理，通過問卷調查向具有國防研發項目審計實務經驗的軍隊審計人員及從事研究國防研發項目績效研究的專家、學者進行咨詢，了解其對各項評價指標之間相對重要性的意見，從而確定各評價指標的權重。本次問卷調查共發放問卷12份，收回問卷12份，均為有效問卷。經計算，各績效評價指標的權重如表1所示。

四、結語

構建國防研發項目績效審計評價體系，對于擴大國防研發項目成果，保障科研任務高效完成，提升科研經費使用效益，推動科技創新發展戰略的實現等具有重要現實意義。但由于作者掌握的研究素材有限，評價指標體系還有待與實際工作需求相結合，需要在實踐過程中對操作上難以獲得信息數據的指標進行適當調整，對實際需要、考核意義突出但未設置的相應指標要進行增補。同時，由于國防研發項目數據資料的保密性，績效審計評價指標體系的實證研究也受到一定限制，需要在以后的研究中結合其他非保密性質的科研項目對績效審計評價指標體系進一步完善。

主要參考文獻

陳獻東.住房公積金運營績效審計評價指標體系研究[J].南京審計學院學報， 2015（2）：81-91

李梅，劉玲燕.基于模糊綜合評判的政府績效審計評價[J].財會通訊， 2016（19）：80-83

李燕，張翔，張圍紅.中國政府績效審計改革研究[J].云南財經大學學報， 2018（4）：104-112

彭敏.政府投資建設項目績效審計標準研究[J].企業技術開發， 2016（19）：128-130

徐緒寶，周君，洪璐.公共投資項目績效評價體系的研究[J].鐵路工程造價管理， 2015（3）：9-12