航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)方法研究

李國強(qiáng) 郭凱 霍玉倩

（1北京跟蹤與通信技術(shù)研究所，北京，100094；2中國航天標(biāo)準(zhǔn)化研究所，北京，100071）

航天領(lǐng)域的標(biāo)準(zhǔn)既涉及型號(hào)產(chǎn)品設(shè)計(jì)、研制、試驗(yàn)、鑒定、在軌測(cè)試直至交付全過程，還涉及型號(hào)的發(fā)射和在軌應(yīng)用等。經(jīng)過30余年的發(fā)展，我國航天領(lǐng)域成體系編制了各級(jí)、各類標(biāo)準(zhǔn)，有力促進(jìn)了航天產(chǎn)品研制應(yīng)用，支撐和保障了我國航天事業(yè)的蓬勃發(fā)展。標(biāo)準(zhǔn)頒布實(shí)施后，開展實(shí)施效果評(píng)價(jià)，掌握標(biāo)準(zhǔn)的實(shí)施狀況，及時(shí)發(fā)現(xiàn)標(biāo)準(zhǔn)在實(shí)施過程中存在的不足，有利于及時(shí)修訂標(biāo)準(zhǔn)，進(jìn)而提升標(biāo)準(zhǔn)的適用性和先進(jìn)性，對(duì)于優(yōu)化完善標(biāo)準(zhǔn)體系、充分發(fā)揮標(biāo)準(zhǔn)建設(shè)效益具有重要意義。

標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)是指標(biāo)準(zhǔn)實(shí)施一定時(shí)間后，按照標(biāo)準(zhǔn)化工作目的和要求，對(duì)標(biāo)準(zhǔn)的實(shí)施應(yīng)用情況、標(biāo)準(zhǔn)對(duì)經(jīng)濟(jì)活動(dòng)產(chǎn)生的影響進(jìn)行測(cè)算、評(píng)價(jià)的過程。標(biāo)準(zhǔn)實(shí)施的效果，即標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的對(duì)象，可體現(xiàn)為經(jīng)濟(jì)效益、技術(shù)效益和社會(huì)效益等。民用標(biāo)準(zhǔn)更為注重標(biāo)準(zhǔn)實(shí)施產(chǎn)生的經(jīng)濟(jì)效益，其次是社會(huì)效益；軍用標(biāo)準(zhǔn)更為注重標(biāo)準(zhǔn)實(shí)施產(chǎn)生的軍事技術(shù)效益，其次也包括經(jīng)濟(jì)效益。

標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)主要有3種方法：①價(jià)值鏈分析法（如ISO標(biāo)準(zhǔn)），適用于企業(yè)和行業(yè)層面的經(jīng)濟(jì)效益評(píng)價(jià)，需要有長時(shí)間、足量的數(shù)據(jù)做支撐；②生產(chǎn)函數(shù)法 （如德國標(biāo)準(zhǔn)、法國標(biāo)準(zhǔn)），適用于行業(yè)和國家層面的經(jīng)濟(jì)效益評(píng)價(jià)，計(jì)算較為復(fù)雜，需要對(duì)數(shù)據(jù)進(jìn)行修正；③模糊綜合評(píng)價(jià)法（如國家標(biāo)準(zhǔn)、軍用標(biāo)準(zhǔn)），適用于定性和定量描述的綜合性評(píng)價(jià)，需要建立合理的評(píng)價(jià)指標(biāo)體系和具有一定的樣本量。

長期以來，無論是國際還是國內(nèi)，標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)主要以定性方法提出，但只有實(shí)現(xiàn)指標(biāo)化和定量化，才更具針對(duì)性和可操作性，真正發(fā)揮評(píng)價(jià)的作用，達(dá)到評(píng)價(jià)的目的。當(dāng)前以體系化的指標(biāo)開展標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的經(jīng)驗(yàn)和理論儲(chǔ)備相對(duì)較為匱乏，因此，探索實(shí)踐指標(biāo)化定量化的標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)方法，對(duì)于提高航天領(lǐng)域標(biāo)準(zhǔn)建設(shè)應(yīng)用效益、推進(jìn)標(biāo)準(zhǔn)化理論創(chuàng)新具有重要而典型的意義。

1 標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)方法的確立

航天領(lǐng)域標(biāo)準(zhǔn)涉及范圍廣、數(shù)量多，從標(biāo)準(zhǔn)化對(duì)象角度可分為產(chǎn)品標(biāo)準(zhǔn)、試驗(yàn)標(biāo)準(zhǔn)、管理標(biāo)準(zhǔn)等類別，每種類別的標(biāo)準(zhǔn)評(píng)價(jià)指標(biāo)會(huì)有所不同。標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)不單是一個(gè)具體的量化指標(biāo)，還包括諸多方面，需要構(gòu)建相應(yīng)的指標(biāo)體系。鑒于航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果的評(píng)價(jià)是一個(gè)非線性的決策過程，評(píng)價(jià)因素很多并具有一定層次性，因此采用模糊綜合評(píng)價(jià)法與層次分析法相結(jié)合的方法，對(duì)航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果進(jìn)行評(píng)價(jià)。

該方法的中心思想是先構(gòu)建層次性的指標(biāo)體系，然后運(yùn)用層次分析法確定各個(gè)指標(biāo)的權(quán)重，再利用之前的權(quán)重對(duì)結(jié)果進(jìn)行分析與評(píng)價(jià)。這3部分之間將根據(jù)被評(píng)價(jià)標(biāo)準(zhǔn)的不同應(yīng)用情況，分別設(shè)置權(quán)重，求總得分。不同類型的標(biāo)準(zhǔn)、不同級(jí)別的標(biāo)準(zhǔn)，其評(píng)價(jià)指標(biāo)的內(nèi)容以及各部分的權(quán)重會(huì)有差別，包括評(píng)價(jià)方法、評(píng)價(jià)范圍等都應(yīng)與標(biāo)準(zhǔn)所針對(duì)的標(biāo)準(zhǔn)化對(duì)象相對(duì)應(yīng)，依據(jù)實(shí)際評(píng)價(jià)工作要求設(shè)定。

2 評(píng)價(jià)指標(biāo)體系的構(gòu)建

根據(jù)航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的對(duì)象和目的，從技術(shù)內(nèi)容、實(shí)施情況和實(shí)施效益這3個(gè)方面作為準(zhǔn)則層構(gòu)建標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)指標(biāo)體系。

根據(jù)以上闡述，根據(jù)各層次因素與因素之間的相互關(guān)系，建立評(píng)價(jià)指標(biāo)體系，如圖1所示。其層次結(jié)構(gòu)包括目標(biāo)層、準(zhǔn)則層、次準(zhǔn)則層和指標(biāo)層，航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的具體指標(biāo)體系見表1。

表1 航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)指標(biāo)

圖1 航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)指標(biāo)體系層次結(jié)構(gòu)示意

3 評(píng)價(jià)等級(jí)及權(quán)重設(shè)置

航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效益的評(píng)價(jià)工作，需確定各項(xiàng)評(píng)價(jià)指標(biāo)的權(quán)重和評(píng)價(jià)等級(jí)。權(quán)重的確定方法主要包括主觀賦權(quán)法和客觀賦權(quán)法。為方便航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)指標(biāo)的確定，建議采用采取主觀賦權(quán)法，在廣泛征求評(píng)價(jià)工作組專家的意見后，初步給出各評(píng)價(jià)指標(biāo)的權(quán)重系數(shù)。不同的標(biāo)準(zhǔn)可根據(jù)情況進(jìn)行調(diào)整。第一層目標(biāo)層下設(shè)3項(xiàng)準(zhǔn)則層，其權(quán)重系數(shù)建議見表2。

表2 準(zhǔn)則層權(quán)重系數(shù)

為明確各指標(biāo)層的評(píng)價(jià)結(jié)果，建議劃分為“顯著”、“較顯著”、“一般”、“不顯著”、“非常不顯著”等5個(gè)評(píng)價(jià)等級(jí)，并按十分制分別賦予數(shù)值10、8、6、4、2。評(píng)價(jià)工作組可參照這類形式對(duì)各項(xiàng)指標(biāo)打分或評(píng)級(jí)。具體評(píng)價(jià)等級(jí)劃分及其分值范圍建議見表3。

表3 評(píng)價(jià)等級(jí)與分值對(duì)照表

4 數(shù)據(jù)采集及結(jié)果評(píng)定

4.1 標(biāo)準(zhǔn)技術(shù)內(nèi)容評(píng)價(jià)

標(biāo)準(zhǔn)技術(shù)內(nèi)容指標(biāo)評(píng)價(jià)不同于標(biāo)準(zhǔn)的復(fù)審，一般不對(duì)技術(shù)指標(biāo)的設(shè)置進(jìn)行論證，而是從標(biāo)準(zhǔn)實(shí)施后的角度，著重對(duì)技術(shù)指標(biāo)的適用性、先進(jìn)性、協(xié)調(diào)性等3個(gè)方面進(jìn)行評(píng)價(jià)。

標(biāo)準(zhǔn)技術(shù)內(nèi)容的評(píng)價(jià)方法一般包括專家調(diào)查法和比對(duì)分析法。其中，標(biāo)準(zhǔn)技術(shù)內(nèi)容的適應(yīng)性評(píng)價(jià)宜采用專家調(diào)查法，以意見征集（郵件、電話、問卷等）形式收集行業(yè)專家、標(biāo)準(zhǔn)化專家對(duì)標(biāo)準(zhǔn)內(nèi)容的適用性意見，根據(jù)意見結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)與當(dāng)前需求的一致性程度。評(píng)價(jià)工作組應(yīng)擬定調(diào)查提綱，專家應(yīng)有合理的規(guī)模，且所選擇的專家應(yīng)熟悉所評(píng)價(jià)的標(biāo)準(zhǔn)，有豐富的實(shí)踐經(jīng)驗(yàn)，例如型號(hào)中的兩總或主任設(shè)計(jì)師等。

標(biāo)準(zhǔn)技術(shù)內(nèi)容的先進(jìn)性和協(xié)調(diào)性評(píng)價(jià)宜采用對(duì)比分析法。評(píng)價(jià)工作組應(yīng)根據(jù)所評(píng)價(jià)標(biāo)準(zhǔn)的相關(guān)標(biāo)準(zhǔn)情況，確定比對(duì)對(duì)象，采用技術(shù)指標(biāo)比較，分析掌握所評(píng)價(jià)標(biāo)準(zhǔn)與對(duì)比標(biāo)準(zhǔn)在指標(biāo)內(nèi)容上的差異，形成規(guī)范的對(duì)比列表，用以評(píng)價(jià)標(biāo)準(zhǔn)的協(xié)調(diào)性和先進(jìn)性。根據(jù)技術(shù)指標(biāo)比對(duì)結(jié)果和適用性意見匯總結(jié)果，綜合歸納被評(píng)價(jià)標(biāo)準(zhǔn)內(nèi)容的適用性、先進(jìn)性和協(xié)調(diào)性。

4.2 標(biāo)準(zhǔn)實(shí)施情況評(píng)價(jià)

標(biāo)準(zhǔn)的實(shí)施情況，即標(biāo)準(zhǔn)發(fā)布實(shí)施后，各級(jí)標(biāo)準(zhǔn)化管理部門推廣標(biāo)準(zhǔn)以及產(chǎn)品設(shè)計(jì)、生產(chǎn)、檢測(cè)機(jī)構(gòu)、質(zhì)量監(jiān)督機(jī)構(gòu)、科研、高等院校等相關(guān)單位實(shí)施應(yīng)用標(biāo)準(zhǔn)的情況。標(biāo)準(zhǔn)實(shí)施情況的評(píng)價(jià)包括3個(gè)方面：標(biāo)準(zhǔn)推廣、標(biāo)準(zhǔn)執(zhí)行和標(biāo)準(zhǔn)使用，通過各項(xiàng)指標(biāo)數(shù)據(jù)的采集，綜合各項(xiàng)評(píng)價(jià)指標(biāo)的結(jié)果得出實(shí)施情況的評(píng)價(jià)等級(jí)。

a）推廣情況：

即標(biāo)準(zhǔn)實(shí)施后，標(biāo)準(zhǔn)化管理機(jī)構(gòu)及有關(guān)部門和單位為保證標(biāo)準(zhǔn)有效實(shí)施，開展的標(biāo)準(zhǔn)宣傳、培訓(xùn)等活動(dòng)以及衍生材料出版發(fā)行等情況。

b）執(zhí)行情況評(píng)價(jià)：

即標(biāo)準(zhǔn)發(fā)布實(shí)施后，標(biāo)準(zhǔn)相關(guān)方應(yīng)用標(biāo)準(zhǔn)以及對(duì)標(biāo)準(zhǔn)的掌握程度等方面的情況。標(biāo)準(zhǔn)的相關(guān)方一般指采購部門、上級(jí)機(jī)關(guān)、管理部門以及研制、生產(chǎn)方等。

c）使用頻次：

即指被法律法規(guī)、政策性文件、各級(jí)標(biāo)準(zhǔn)以及科技論文的引用等方面。

標(biāo)準(zhǔn)實(shí)施情況的數(shù)據(jù)收集宜采用以下方法。

a）電話調(diào)查：

此方法適用于標(biāo)準(zhǔn) （衍生材料，如講義等）傳播數(shù)據(jù)的收集，通過電話詢問標(biāo)準(zhǔn)出版機(jī)構(gòu)，獲取標(biāo)準(zhǔn)銷售數(shù)量和標(biāo)準(zhǔn)衍生材料發(fā)行情況（比如講義和培訓(xùn)的需求情況）。

b）實(shí)地調(diào)查：

此方法適用于標(biāo)準(zhǔn)宣貫情況的收集，即調(diào)研標(biāo)準(zhǔn)歸口單位、主管部門、行業(yè)協(xié)會(huì)等，了解標(biāo)準(zhǔn)發(fā)布實(shí)施以來，相關(guān)部門的標(biāo)準(zhǔn)宣貫工作。

c）網(wǎng)絡(luò)采集：

此方法適用于標(biāo)準(zhǔn)點(diǎn)擊查詢量、標(biāo)準(zhǔn)被引用情況的收集。即在線登錄相關(guān)標(biāo)準(zhǔn)信息服務(wù)平臺(tái)，查詢所評(píng)價(jià)標(biāo)準(zhǔn)的被引用數(shù)據(jù)和點(diǎn)擊查詢量。

d）抽樣調(diào)查：

此方法適用于標(biāo)準(zhǔn)執(zhí)行情況、標(biāo)準(zhǔn)宣貫情況以及對(duì)標(biāo)準(zhǔn)認(rèn)知的數(shù)據(jù)收集。宜采用問卷調(diào)查形式，針對(duì)標(biāo)準(zhǔn)執(zhí)行情況評(píng)價(jià)指標(biāo)和相關(guān)單位宣貫情況評(píng)價(jià)內(nèi)容確定問題項(xiàng)，向相關(guān)單位發(fā)放問卷，獲取抽樣調(diào)查結(jié)果數(shù)據(jù)。

4.3 標(biāo)準(zhǔn)實(shí)施效益評(píng)價(jià)

普通民用標(biāo)準(zhǔn)實(shí)施效益評(píng)價(jià)宜從經(jīng)濟(jì)效益、社會(huì)效益和生態(tài)效益等維度進(jìn)行，對(duì)于航天領(lǐng)域標(biāo)準(zhǔn)，其制定的動(dòng)因是為了壓縮品種、規(guī)定質(zhì)量、促進(jìn)競爭、方便采購等，最終達(dá)到降費(fèi)用、縮時(shí)間、提高任務(wù)保障能力等作用，與民用標(biāo)準(zhǔn)有重大區(qū)別。航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效益一般包括技術(shù)效益、經(jīng)濟(jì)效益和社會(huì)效益。

a）技術(shù)效益：

對(duì)于不同類別的標(biāo)準(zhǔn)，各部分評(píng)價(jià)要素所占的比重不同，如對(duì)于產(chǎn)品應(yīng)用類標(biāo)準(zhǔn)，則應(yīng)重點(diǎn)評(píng)價(jià)其在滿足任務(wù)需求、提高型號(hào)效能上帶來的效益；對(duì)于維護(hù)保障標(biāo)準(zhǔn)，重點(diǎn)評(píng)價(jià)在提高型號(hào)綜合保障能力等方面帶來的效益。

b）經(jīng)濟(jì)效益：

航天領(lǐng)域標(biāo)準(zhǔn)的實(shí)施能夠帶來顯著的經(jīng)濟(jì)效益，這種效益體現(xiàn)在提高產(chǎn)品性能、質(zhì)量改善、成本節(jié)約、效率提高、周期縮短、普及“三化”等許多方面。經(jīng)濟(jì)效益的評(píng)價(jià)主要以定量分析為主、定性分析為輔。標(biāo)準(zhǔn)實(shí)施帶來的經(jīng)濟(jì)效益的定量評(píng)價(jià)和計(jì)算，可在國家標(biāo)準(zhǔn)GB/T 3533.1—2017《標(biāo)準(zhǔn)化效益評(píng)價(jià) 第1部分：經(jīng)濟(jì)效益評(píng)價(jià)通則》中第5章給出的價(jià)值鏈分析法、生產(chǎn)函數(shù)法、模糊綜合評(píng)價(jià)法等3種方法中選擇。

c）社會(huì)效益：

一般從促進(jìn)產(chǎn)業(yè)融合發(fā)展，科技創(chuàng)新成果轉(zhuǎn)化，支撐單位規(guī)范化建設(shè)等方面。

航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效益的數(shù)據(jù)收集可采用以下任意一種或多種方法結(jié)合。

a）抽樣調(diào)查：

評(píng)價(jià)工作組可要求產(chǎn)品研制單位根據(jù)實(shí)際情況提供標(biāo)準(zhǔn)實(shí)施前后的效益指標(biāo)數(shù)值。

b）實(shí)地調(diào)查法：

評(píng)價(jià)工作組可根據(jù)效益指標(biāo)子體系，擬定調(diào)查內(nèi)容和目標(biāo)，選擇不同層次、典型的單位進(jìn)行調(diào)查。實(shí)地調(diào)查對(duì)象要有代表性，數(shù)量應(yīng)能夠滿足評(píng)價(jià)的需要。

實(shí)施效益的分析涉及面廣，包括了定性分析和定量分析，主要采用主觀賦權(quán)法，采用調(diào)查問卷或?qū)＜医M問詢等形式，給出評(píng)價(jià)要素和等級(jí)，根據(jù)權(quán)重不同，換算成百分制。

4.4 分值的計(jì)算與分析

根據(jù)以上指標(biāo)體系計(jì)算方法，即可通過模糊評(píng)價(jià)法得到航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的結(jié)果。

不同類型的標(biāo)準(zhǔn)、不同級(jí)別的標(biāo)準(zhǔn)，其評(píng)價(jià)指標(biāo)的內(nèi)容以及各部分的權(quán)重會(huì)有差別，包括評(píng)價(jià)方法、評(píng)價(jià)范圍等都應(yīng)與標(biāo)準(zhǔn)所針對(duì)的標(biāo)準(zhǔn)化對(duì)象相對(duì)應(yīng)，需要依據(jù)實(shí)際評(píng)價(jià)工作要求設(shè)定。

本文主要給出了航天領(lǐng)域標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)的一種基本思路和方法，若針對(duì)不同領(lǐng)域標(biāo)準(zhǔn)的效益評(píng)價(jià)，可在參考此方法基礎(chǔ)上，明確具體的評(píng)價(jià)對(duì)象，建立專項(xiàng)工作組，按照如下流程開展評(píng)價(jià)工作：設(shè)計(jì)確定標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)指標(biāo)；依據(jù)評(píng)價(jià)指標(biāo)，設(shè)計(jì)確定各項(xiàng)指標(biāo)評(píng)價(jià)數(shù)據(jù)的采集方式，擬定調(diào)查問卷、調(diào)查大綱等；開展標(biāo)準(zhǔn)實(shí)施效果數(shù)據(jù)調(diào)查；綜合分析評(píng)價(jià)數(shù)據(jù)并給出評(píng)價(jià)結(jié)果；編制標(biāo)準(zhǔn)實(shí)施效果評(píng)價(jià)報(bào)告。