基于AHP 的科技報告質量評價

吳赫君WU He-jun；陳晨CHEN Chen；李貴萍LI Gui-ping；陳翰CHEN Han

（①國網浙江省電力有限公司經濟技術研究院，杭州 310000；②同濟大學經濟與管理學院，上海 200092）

1 科技報告質量評價的目的及意義

科技報告是科研（專業）人員為了描述其從事的科研、設計、工程、試驗和鑒定等活動的過程、進展和結果，按照規定的標準格式編寫而成的特殊文獻，也是國家基礎性科技創新資源[1]。我國的科技報告起源于1984 年的國防科技報告體系建設工作。2014 年國家號召部門、地方單位大力開展科技報告撰寫和發表工作，除國防科技項目之外，科技部、國家自然基金委、交通運輸部和各省市主管的科技項目都開始積極地提交科技報告。盡管近年來國家、地方的科技報告制度建設取得了顯著成效，但是科技報告的質量管理體系并不完善。隨著科技報告數量的激增，各個部門所提交的科技報告的質量并沒有受到嚴格控制，國家科技報告的整體質量水平提升緩慢，降低了科技報告的科技含量和應用價值。

科技報告質量評價在管理程序制定和實施管理方面尚有瓶頸。國內雖然已有科技報告的質量評價體系，但這些體系仍存在一些問題，比如：集中于宏觀層面，主要關注評價體系整體框架的構建和原則的設計，提出的指標概念抽象，難以對權重進行定量計算。實際中，一些企業會與高校、研究院等開展項目合作，科技報告往往是項目的一項重要成果。然而，企業內部的科技報告評價體系通常較為粗糙，對報告評價的角度單一，評價指標也不夠完備，難以準確區分報告之間質量的高低，影響企業對于項目成果的質量把控。

在這一背景下，本研究旨在建立科學的科技報告質量評價指標體系，針對科技報告質量管理中編制、校核、審核、批準這四個流程，構建適合于科技報告的評價指標體系和模型，更加客觀和準確地對科技報告的質量進行評價，并從本質上提升業內科技報告供應商產出的質量水平，促進我國的科技報告產業高質量發展。

2 文獻綜述

目前，一些學者針對科技報告的質量評價體系和方法進行了初步的探索。裴雷和孫建軍[2]通過梳理國內外科技報告質量評價指標體系建設的理論和實踐，結合中國科技報告工作進展和實踐，提出了科技報告質量評價指標體系設計的原則、方法、描述框架和參考體系，并為我國科技報告質量評價的未來發展方向指明了重點。朱麗波等[3]通過運用頭腦風暴法、專家調查法、層次分析法與Yaahp 軟件，分析科技報告的質量影響因素，選取相應的評價指標，并通過構建科技報告的評價指標遞階層次結構，計算各評價指標相對權重和加權權重。苗軍[4]分析了科技報告共享前和共享后兩個主要階段的質量評價特點，構建基于自評的科技報告質量評價指標體系，其中一級指標有文獻編制質量和專業技術質量，文獻編制質量對應的二級指標有結構完整、格式規范和寫作水平，專業技術質量對應的二級指標有技術創新性、內容完備程度、技術重現度和應用價值。綜上可知，國內現有的有關科技報告質量體系研究的文獻相對較少。本文基于現有文獻給出的指標體系，結合專家意見，識別科技報告質量評價的指標，并運用統計學、運籌學等多學科知識建立科技報告質量評價模型。

3 科技報告質量評價體系的建立

層次分析法是一種經典的多指標綜合評價方法，由美國運籌學家薩蒂于1982 年提出，它綜合了人們的主觀判斷，將評價目標分為若干層次和若干指標，確定各個指標權重進而對目標進行綜合評價，是一種簡明、實用的定性與定量相結合的、系統化的、層次化的分析方法。

科技報告的質量評價體系所包含的評價指標眾多，且這些指標對于目標的重要性不同，評價的角度也不同。要達到完備、有序地評價科技報告的目的，需按照文件的不同屬性將這些評價指標歸類為幾個大類指標，并在這些大類下進一步細分得到下一層的指標，如此對每一層的各個指標進行分解，直到評價指標難以繼續細分下去，以便在后續確定每一指標對目標影響的權重。層次分析法符合科技報告質量評價指標體系的特點，因此，本研究通過建立科技報告質量評價指標并基于AHP 計算指標權重得到科技報告質量評價體系。

3.1 評價指標體系設計

為保證科技報告落實質量管理以及高質量產出，科技報告一般需經過編制、校核、審核、批準四個環節進行質量評價。在編制環節中，編寫人員對科技報告進行根據關注指標進行自查并修訂；在校核環節中，專業負責人或專業技術人員對科技報告質量進行校核，在編寫人自查基礎上對科技報告做全面檢查、并根據差錯嚴重程度和出錯次數進行評分且向編寫人員提出修改意見與建議；在審核環節中，審核負責人負責根據校核分數對修改后科技報告進行進一步評估；在批準環節，負責人需對科技報告中的關鍵信息進行把關并批準通過。由于科技報告質量評價各階段利益主體和質量評價主體各不相同，他們在科技報告質量管理過程中的評價目的和考察內容有所差異，因此如何將評價需求差異體現在科技報告質量評價指標體系的構建中，如何體現科技報告評價的階段性特點是本研究的難點。

在評價過程中，各評價主體主要對科技報告的文件規范性、內容合理性以及技術嚴謹性進行評價和反饋，編寫人員根據反饋結果修改和完善科技報告。目前缺少可量化的質量評價體系對科技報告進行打分。本研究針對科技報告的編制、校核、審核、批準這四個環節構建評價指標體系，確定校核、審核兩個主要評價過程的評價指標權重，以此為依據進行科技報告質量評分。本研究主要從文獻編制質量和專業技術質量兩個維度進行考察并將其作為科技報告質量評價指標體系的一級指標。為保證評價體系完備合理，本研究依據科技報告特性[5]，如結構完整性、內容準確性、格式規范性、大環境適應性、方案可行性等建立科技報告評價體系中的二級和三級指標。

3.1.1 編制過程評價指標體系

在科技報告編寫過程中和呈送前，編寫人需要分別從文件編制質量和專業技術質量兩個維度對編寫的科技報告進行自我評估，并針對不同的指標及其評價標準改進科技報告。參考現有研究[4]，本節設計了編制環節的評價指標體系。經過多輪綜合專家意見，針對該過程設計了包括2 個一級指標、5 個二級指標、16 個三級指標及評價標準的技術報告質量自查指標體系。具體指標體系如表1 所示。

表1 編制過程科技報告自評指標及評價標準

3.1.2 校核過程評價指標體系

校核環節是科技報告質量管理流程中第二個流程，由專業負責人或專業技術人員擔任校核工作。校核人在編寫人自查基礎上對科技報告做全面檢查，重點考察科技報告推理過程準確性、研究邏輯合理性、結論創新性、研究可實踐性和需求滿足程度。若科技報告不符合指標要求，校核人應根據差錯嚴重程度和出錯次數進行評分并向編寫人員提出修改意見與建議。該過程設計了包括2 個一級指標、5 個二級指標、16 個三級指標及評價標準的技術報告質量評價指標體系。

3.1.3 審核過程評價指標體系

通過校核評價后，科技報告進入審核環節進行進一步評價。與校核環節不同的是，審核環節更重視科技報告中提出的結論和建議與科技報告編寫人對行業思想和方針的把握程度，因此在建立評價指標時，重點考察核心結論與關鍵數據的內容準確性、技術方案是否符合原則統一性（即方案提出是否適應國家政策方針、法律法規、行業規范和企業戰略）以及方案實際可操作性。審核過程在校核評估基礎上對上述關鍵指標進行評價，以保證只有高質量、高標準的科技報告進入批準環節。該過程設計了包括1 個一級指標、3 個二級指標、7 個三級指標及評價標準的技術報告質量評價指標體系。

3.1.4 批準過程評價指標體系

批準環節是科技報告質量管理流程中的最后一個環節。在批準過程中，負責人需對科技報告的專業技術質量進行把關，關注核心結論和關鍵數據準確性以及技術方案是否與大環境相適應，并著重考慮技術能否在企業內實施并帶來實際效益。該環節評價負責人需綜合校核和審核評價得到的打分結果對科技報告最終的質量等級進行評定。該過程設計了包括1 個一級指標：專業技術質量；3 個二級指標：內容準確性、大環境適應性和實際可操作性；4 個三級指標：核心結論準確性、關鍵數據準確性、與國家政策、法律法規、行業規范、企業戰略的適應程度和技術路線可行性。

3.2 確定指標權重

本研究應用軟件Yaahp 實現層次分析法并確定評價指標權重。在評價指標體系確定基礎上，統一采用Satty 提出的9 分位比例標度[6，7]度量兩指標間的相對重要性，將研究問題從定性分析轉為定量分析，使用問卷調查法收集13 位專家對同級指標間相對重要性評分并根據得到的多份重要性打分進行投票制，即少數服從多數的綜合處理，最終得到綜合打分判斷矩陣。

綜合判斷矩陣建立后還需進行一致性檢驗以保證各元素重要度間的協調性。使用Yaahp 軟件對每個綜合矩陣進行一致性檢驗，若計算結果一致性比率CR 值<0.1 時，該矩陣符合一致性，否則一致性檢驗不通過，需要對該矩陣中的重要性打分進行修正。最后經過反復檢驗和調整，所有指標相對重要性打分通過一致性檢驗，得到最終綜合判斷矩陣。然后，根據綜合判斷矩陣計算得到不同等級指標的權重。最后將Yaahp 軟件分析得到的三級指標權重乘以對應二級指標和一級指標權重，即得到各指標在該過程評價指標體系中的實際權重。經過上述計算分析，最終得到校核和審核過程評價體系的綜合指標權重分別如表2、3 所示。

表2 校核過程評價指標權重排序

表3 審核過程評價指標權重排序

本節為提升科技報告撰寫質量并嚴格落實科技報告質量管理提供數學工具?；跇嫿ǖ目萍紙蟾嬖u價指標及其權重，科技報告供應商可進一步依據指標評價要求對科技報告進行打分，最終得到綜合評分以對科技報告撰寫內容及質量進行把關。

4 結論

科技報告是科研項目和過程的總結性文獻，它在科研項目管理的過程中產生，由于科研過程往往周期比較長，跨越眾多階段，因此項目管理的流程也會較為復雜和漫長，科技報告的科學管理顯得尤為重要。質量管理是科技報告管理的生命，對科技報告的質量開展評價，能夠篩選出優質的科技報告，對科技報告的質量發展起到積極的引導作用。對于科技報告供應商來說，推進科技報告質量體系的構建，能夠有效督促科研人員提高文件質量，保證未來一段時期行業內科技報告管理水平和能力的穩步發展。

本文回顧了國內科技報告質量評價的研究現狀，針對當前科技報告質量評價存在的問題，運用層次分析法，構建了基于實際需求，實操性較強的分階段分層的文件質量評價指標體系，能夠輔助專家和科研人員有效地對文件質量做出評價，為科技報告資源體系的理論研究與實踐建設提供借鑒，促進業界科技報告質量水平的提升。對于科技報告供應商來說，科技報告質量體系的構建能夠有效督促科研人員提高文件質量，保證未來一段時期行業內科技報告管理水平和能力的穩步發展。