我國空間科學與應用領域的科技成果評估

張九星，張 偉，李緒志，韓 培，王 翀，劉 艷，韓樾夏

（1.中國科學院空間應用工程與技術中心；2.中國科學院太空應用重點實驗室，北京 100094）

1 研究背景

我國空間科學與應用在2000 年前主要是利用科學氣球開展空間科學研究，利用氣象探測和對地觀測等領域的衛星開展空間應用［1］；2000 年到2010年主要利用載人飛船和無人飛船開展微重力科學實驗，突破了大量空間技術領域的關鍵技術，逐步形成系列分支領域［2］；2010 年后利用天宮一號目標飛行器、神舟八號載人飛船、天宮二號空間實驗室、天舟一號貨運飛船等開展了較大規模的空間科學與應用研究，成果大量涌現，同時通過空間科學先導專項任務成功發射了“悟空號”“實踐十號”“墨子號”“慧眼號”“太極一號”“懷柔一號”等空間科學衛星。此外，我國空間科學微小和微納衛星也得到發展。隨著我國載人空間站的建成，我國將進入大規模空間科學與應用成果產出激增和國際影響力不斷提升的新階段［3］。

空間科學與應用成果是通過空間科學或空間應用相關的科學實驗、技術試驗、應用研究以及工程研制或產品開發等活動所產生的，具有科學與應用、經濟與社會等多方面價值或效益的成果，相關過程包括地面研究與研制、空間在軌實驗/試驗、利用實驗樣品或科學與應用數據進行分析研究與應用等。空間科學注重論文產出［4］，空間應用強調在此基礎上產生的應用效益，二者之間密切相關［5］。國際空間站（International Space Station，ISS）［6］已經開展了大規模空間科學與應用，100 多個國家和地區參與研究和教育活動。從1999 年到2021 年10 月，ISS 共發表了3 285 篇文章，PRO 研究成果管理團隊PRO RRM（Program Research Office ResearchResultsManagement）按照特征因子（Eigenfactor）方法的期刊排序來統計發表在前100 位（Top 100）和前10 位（Top 10）的論文［7］，并分析和比較每年的變化情況，由此可以獲得階段性評估情況，結果顯示，從2007年到2021 年10 月共有377 篇文章發表在了Top 100期刊［8］。

空間科學與應用成果產出需要加強理論、實驗與技術的深度結合［9］。科技成果評估是在科技成果產出、管理、轉移轉化或推廣應用等過程中對成果開展的各類專業化評價與咨詢活動。空間科學與應用成果評估是工程任務全價值鏈管理和產出評估的一部分，是我國與國際相關領域進行水平比較，促進發揮價值、效益和影響力的重要手段［10］。為了加強和規范成果評估，我國制定了一系列科技成果評價和轉移轉化等方面的政策措施和指導意見，發布了一系列科技成果評估相關的國家標準。

2 空間科學與應用成果評估的相關國家政策與標準規范

2.1 國家政策

2015 年以來，我國重視和加強了科技成果評估相關工作，針對科技成果評估、科技成果轉移轉化等發布了一系列指導意見、實施措施、管理辦法等。其中，國家頂層政策包括《關于完善科技成果評價機制的指導意見》《關于進一步弘揚科學家精神加強作風和學風建設的意見》《優化科研管理提升科研績效若干措施》《關于深化項目評審、人才評價、機構評估改革的意見》《全面加強基礎科學研究的若干意見》《國家技術轉移體系建設方案》《促進科技成果轉移轉化行動方案》《國家科技重大專項組織實施工作規則》等。為了加強對國家重大專項的管理，國家頂層和部委層面均專門發布了相關管理辦法，其中有涉及成果管理與評估的相關內容，如科技部、發展改革委、教育部、財政部、中國科學院、自然科學基金委等部門發布了《國家科技成果轉化引導基金管理暫行辦法》《科學技術活動評審工作中請托行為處理規定（試行）》《加強“從0 到1”基礎研究工作方案》《關于破除科技評價中“唯論文”不良導向的若干措施（試行）》《科學技術活動違規行為處理暫行規定》《科研誠信案件調查處理規則（試行）》《科技監督和評估體系建設工作方案》等。在這些政策和指導意見的基礎上，空間科學與應用相關的專項任務或衛星工程，結合工程任務特點，制定工程任務內部的管理要求，但主要是研制任務相關的技術評估和成果管理等，對空間科學與應用成果進行規范化和體系化的評估成為研究重點。由此可見，與空間科學與應用成果評估相關的法律法規、國家頂層政策、部委政策和工程管理政策形成4 個層次結構，如圖1 所示。

圖1 我國空間科學與應用成果評估相關政策

2.2 國家標準

我國僅極少數行業和專業領域發布了專門針對成果評估方面的國家標準，例如農業領域發布了GB/T 32225—2015《農業科技成果評價技術規范》，但在國家政策的推動下，我國制定和發布了科技評估方面的一系列國家標準，為空間科學與應用成果評估提供了參考標準，如表1 所列。我國空間科學與應用領域重視科技成果管理和評估方面的標準規范，并提出了相關規劃，例如，提出構建空間科學衛星工程標準體系［11］，啟動實施的科學數據與應用服務系列標準涵蓋了評估評價標準。

表1 我國空間科學與應用成果評估相關國家標準

3 空間科學與應用成果評估分析

3.1 評估的內涵

空間科學與應用成果評估既區別于空間科學與應用工程任務實施進展中針對具體工程研制進度或關鍵技術的評估［12］，也區別于嚴格按照項目立項或開題時的要求、目標和預期成果等，針對完成情況開展的項目評估，同時與評價科研人員自身而進行的科技成果評價也不同。空間科學與應用任務面向世界科技前沿、面向經濟主戰場、面向國家重大需求、面向人民生命健康，對相關科技成果評估的目的是評估成果的科學與應用價值、經濟和社會效益等，在國際和國內相關領域的自主性、創新性和先進性水平，對國家投入的反饋情況和在社會公眾的影響力等方面［13］，也是對工程和應用任務的反饋和產出評估，有利于促進科學、應用、技術、工程和管理等多領域、多層次、多維度地協調發展；同時，按照國家《關于完善科技成果評價機制的指導意見》，通過評價激發科技人員積極性，推動產出高質量成果、營造良好創新生態。

3.2 評估的特點

科技成果評估是科技評估的一種，空間科學與應用成果評估符合科技評估活動的基本準則，客觀公正、專業可信。空間科學與應用成果評估的特點主要包括如下幾個方面：

（1）基于空間科學與應用任務的分層分類分階段評估。根據空間科學與應用、工程及其應用任務和成果的特點，可以按照所屬的應用任務進行多層次成果評估，按照所屬的項目類型進行分類成果評估，按照所處工程任務的階段進行分階段成果評估。此外，根據《科技評估基本術語》（GB/T 40148—2021）國家標準，按照成果評估的委托情況，也可以分為無委托評估和委托評估。

（2）基于空間科學與應用成果價值的多領域多要素多指標綜合評估。空間科學與應用具有學科領域廣、研究方向眾多、交叉性強、前沿探索性強等特點，空間科學與應用可能涉及多個學科的成果，涉及科學價值、應用價值、經濟與社會效益等一個或多個方面，每個方面可能有多種評估要素以及多個評估指標，因此需要開展多領域多要素多指標的綜合評估。

（3）突出國際前沿比較和應用用戶評價。空間科學與應用成果評估一般委托專業評價機構或評價專家對成果進行同行評議。空間科學基礎研究的成果一般在國際上具有一定影響力，邀請相關領域國內外同行進行評估，突出其在國際上的前沿性和先進性以及對科學認知和學科發展的作用；空間應用的成果主要由應用用戶和同行專家進行評估，突出其應用效益。此外，相關國際合作（如國際聯合載荷研制、國際科學團隊聯合科學研究等）獲得的成果，一般需要邀請國際同行專家進行評估。

（4）全面反映成果評估內容的定性與定量相結合。定性與定量相結合是全面反映空間科學與應用成果評估多要素內容和綜合評估的有效手段，有利于充分發揮成果評估的作用。針對空間科學前沿研究成果的代表性學術論文，一般參考在學科領域內比較成熟或認可度較高的指標，例如利用期刊影響因子（impact factor，IF）、H 指數（H-index）等進行定量評價［14］，被引用情況是評價的重要因素之一；針對創新性、先進性、成熟度等進行量化分級；針對經濟效益和應用效益，可以量化效益規模。而綜合評估結果一般采用定性評價或者定性描述，例如突破了具體關鍵技術或解決了具體問題等。

3.3 分類評估

3.3.1 按任務層次評估

將空間科學與應用成果評估按照評估目標和關注的任務范圍，可以分為工程、任務、飛行器、載荷、項目等，以及具體的關鍵技術或研究內容等不同層次的評估，評估目標分別是各層次范圍的價值和效益。以載人航天工程空間應用成果為例，空間科學與應用成果的多層次結構示意如圖2 所示。

圖2 我國載人航天空間科學與應用成果的多層次結構

其中，工程級成果評估主要是對國家或部委批準的專項工程的實施過程取得的重大成果或效益進行評估，例如，載人航天工程、月球與深空探測，以及中國科學院空間科學戰略性先導科技專項、高分辨率對地觀測系統重大專項等；任務級成果評估主要是對工程的某項具體任務或某個任務階段取得的成果進行評估，例如，載人航天工程第三步空間站任務、探月工程的“繞、落、回”三階段任務、首次火星探測任務等；在每個任務或階段可能由多個飛行器的科學與應用任務構成，飛行器級成果評估主要是對基于飛行器任務或階段取得的成果進行評估，例如載人空間站任務的核心艙、實驗艙I、實驗艙Ⅱ、中國巡天空間望遠鏡（CSST）、神舟載人飛船、天舟貨運飛船等，空間科學戰略性先導科技專項的暗物質粒子探測衛星、實踐十號科學衛星等，嫦娥五號任務的軌道器、返回器、上升器、著陸器等；載荷級成果評估主要是對飛行器上安裝的某個或多個探測器取得成果進行評估，例如，天宮一號目標飛行器的高光譜成像儀、天宮二號空間實驗室的綜合材料實驗平臺等；項目級成果評估主要針對研制的載荷裝置、利用載荷實施的科學實驗、利用在軌獲取的數據產品開展科學與應用研究等活動取得的成果進行評估，例如，利用天宮一號高光譜成像儀開展的民用試應用項目等，對項目研究內容或關鍵技術的成果評估；以及對具體的科學研究或突破關鍵技術取得的成果進行評估，例如，對天宮一號或天宮二號對地觀測民用應用的某項具體應用的成果評估。

3.3.2 按項目類型分類評估

基于空間科學與應用的特點，根據《載人航天空間科學與應用項目遴選要求》（GB/T 42048—2022）國家標準，按照研制、實驗和研究等屬性可以分為3 類，并可以在此基礎上進一步細化分類。一是獨立載荷項目成果評估，對空間飛行器搭載的獨立載荷或實驗裝置的成果進行評估，例如，天宮二號上的空間冷原子鐘和伽馬暴偏振探測儀等，硬X 射線探測衛星安裝的高能、中能和低能X 射線望遠鏡等，空間站實驗艙內的實驗柜、艙外的空間天文觀測載荷等。二是基于獨立載荷的科學實驗項目成果評估，對基于獨立載荷開展的實驗項目，通過更換實驗模塊、實驗單元或實驗樣品等開展的實驗項目等進行評估，例如，通過航天員在軌更換空間站核心艙無容器實驗柜的不同材料實驗樣品，開展不同的材料科學實驗項目，這類項目的典型例子是載人航天空間應用任務的科學實驗項目。三是科學與應用研究項目成果評估，對利用空間科學與應用數據開展的科學研究或應用項目的評估，例如，利用天宮二號伽馬暴偏振探測儀的天文觀測數據開展前沿科學研究的成果評估，利用天宮二號寬波段成像儀、三維成像微波高度計、多波段紫外臨邊成像光譜儀等數據開展應用研究的成果評估。

3.3.3 按工程階段評估

對于分步分階段實施的空間科學與應用任務，可以按照任務實施的階段進行評估，例如，載人航天工程第一步、工程第二步第一階段、工程第二步第二階段、工程第三步等，以及空間站任務建造階段和空間站應用發展階段等，如圖2 所示。一般情況下，空間科學與應用任務的項目實施是一個論證、研究及研制、在軌運行、處理分析的過程，尤其載荷或實驗類項目，每個階段過程也可以進一步細分，空間科學與應用成果產出隨著項目實施是一個動態過程，因此也可以在項目實施過程中進行動態成果評估。

4 全周期過程的空間科學與應用成果評估

空間科學與應用任務和項目實施的主要目標之一是成果產出和發揮效益的最大化，并在創新性先進性等方面達到國際領先水平，通過相關科技成果評估可以對任務和項目實施反饋評估情況，改進項目管理的策略、科學與應用研究方向的組織實施、成果產出的措施等。對于長期在軌運行的項目，一般隨成果產出情況，按年度或若干年分階段進行成果評估。例如，國際空間站上的阿爾法磁譜儀（alpha magnetic spectrometer，AMS）-02 每隔若干年進行成果總結和評估分析，為成果評估和研究方向提供重要參考；空間科學衛星按照壽命運行階段和延壽階段等進行總結和評估，并且延壽和評估是一個迭代的過程，隨著延壽的持續，不斷進行總結和評估［10］。因此，空間科學與應用全周期過程的成果評估是成果水平評價、任務或項目實施改進提升、是否繼續延壽運行的重要依據。

雖然空間科學與應用成果產出主要在空間在軌運行后，尤其載荷在軌調試和物理標定完成后，或微重力科學實驗樣品返回后，成果產出比較集中，甚至爆發時大量涌現，但空間科學與應用領域具有項目實施周期長且成果動態產出的特點，從項目開始論證或立項實施后便開始逐漸產出各種形式的成果，因此，為了全面評估成果情況，空間科學與應用領域的成果評估應該在項目或任務實施的全周期生命過程中，隨著成果產出過程進行動態評估，評估的具體時間需要結合論證、預研、研制、發射、在軌運行、延壽運行等，根據關鍵技術攻關、實驗/試驗結果和成果產出的具體情況確定。按照空間科學實驗項目實施流程和通用要求的標準規范，空間科學實驗項目原則上應覆蓋4 個階段：立項階段、地面研究及研制階段、空間實驗階段、處理分析階段，其中處理分析階段主要進行空間科學實驗結果（實驗樣品、實驗數據、工程數據）的分析和研究、編制空間科學實驗總結報告、成果發布和管理、項目驗收和結題等工作。綜合空間科學實驗、空間新技術試驗、空間科學與空間應用研究等，按照流程階段梳理空間科學與應用成果產出和評估相關工作以及成果的具體形式，如表2 所示。

表2 空間科學與應用項目實施全周期過程中的成果產出

空間科學與應用領域的項目結束或驗收后，仍然可能產生創新成果，尤其空間探測類項目在壽命結束或在軌運行結束后，科學數據仍然可以長期使用，甚至通過最新的數據處理或分析方法提高數據的精度和質量，如果有重要的創新成果產出，仍然可以根據需要進行評估。例如，空間天文與天體物理領域有些幾十年前的歷史觀測數據仍然具有科學價值甚至被廣泛使用，并可能不斷產出新的成果。

5 空間科學與應用成果評估方法

5.1 評估流程

空間科學與應用成果評估的流程主要包括構建評估模型、形式審查、組建評估專家組、成果評估、評估結果分析與反饋等，詳細內容如圖3 所示，開展具體評估時可以根據實際需要進行簡化。

圖3 空間科學與應用成果評估主要流程

（1）構建評估模型。根據空間科學與應用成果的特點、屬性或分類等提煉評估要素，并進一步分解和優化指標，說明指標內涵，設計指標權重或分數，建立評估指標體系，并在此基礎上建立評估模型。

（2）評估材料形式審查。對評估相關的成果材料或證明材料等進行審查，必要時采集更多與成果相關的信息，對不符合要求的申請進行退回補充或修改、取消評估申請等處理。

（3）組建評估專家組。根據空間科學與應用成果所屬領域、研究方向和成果評估的類型等，遴選專家，并組建評估專家組。載荷研制類成果或突破關鍵技術相關的成果評估，一般需要涵蓋相關領域方向的工程技術專家；空間科學實驗或前沿探索相關的成果評估，一般需要涵蓋相關領域方向的科學家；應用類成果評估，一般需要涵蓋相關領域方向的應用專家和應用用戶。國際前沿的空間科學研究或者國際合作項目，一般成果評估專家包括相關領域研究方向的國際專家，甚至專門組建國際評估專家組進行國際評估。

（4）成果評估。由專家組對成果材料進行評議，給出專家組的評估結果和意見。通常由專家組成員按照評估指標體系進行打分，按照計算方法得到專家組評估結果，必要時可以對評估材料或相關內容（例如載荷研制和測試現場）進行實地考察。

（5）評估結果分析與反饋。影響空間科學與應用成果水平和評估的因素較多，包括載荷儀器和科學實驗的方案創新性、性能指標的先進性、在軌標定和運行情況、數據質量與共享推廣等，成果評估并分析結果后，反饋成果評估結果。成果評估是現有成果水平、項目實施與改進、進一步提升成果產出等方面的重要參考依據，包括獲得專家組評估的國內外水平或總體評價，作為成果水平的依據；掌握與國際國內領先水平的差距，為進一步改進和提升提供參考，作為促進科學或技術發展的依據。委托第三方評估時，一般需要對評估報告進行審核，根據情況進行解釋說明、修改補充、重新評估等，如果必要還需提供后續服務或進行后續跟蹤調查等。

5.2 評估要素

空間科學與應用的成果產出是一個多元復雜的過程，價值和效益的內涵豐富，成果形式多樣，為了統一規范和客觀科學地開展成果評估工作，針對不同類型的成果提出和提煉相對應的評估要素，并進一步分解成具體的評估指標，細化評估要求，形成成果評估的指標體系。根據空間科學與應用任務及其成果的特點，在按項目類型分類的基礎上，可以將空間科學與應用成果分為載荷研制類、科學實驗類、科學研究類（或基礎研究類）、應用研究類4 類成果，在突出重點的前提下多視角考慮、覆蓋多維度評估目標，分別提出對應的成果評估指標體系的主要要素，如表3 所示。由評估要素可知，空間科學與應用成果評估突出創新性、先進性，強調在國內外前沿領域所處的水平，在科學技術和經濟社會領域產生的應用效益，同時根據具體情況考慮自主知識產權的程度。通過對評估要素進行多層次分解和說明，進一步設置評估要素和指標元素的權重與分數，形成用于專家組成果評估的指標體系。

表3 空間科學與應用成果評估的主要要素和成果主要形式

5.3 評估方法

在同行評議基礎上，常用的空間科學與應用成果評估方法主要包括定性程度比較高的統計調查法、定量程度比較高的文獻計量法，以及定量與定性相結合的方法。

（1）統計調查法。統計調查主要通過相關領域和方向的專家咨詢、問卷調查等方式獲得調查結果。例如，采用廣泛應用的德爾菲法（Delphi method）［15］，可以反映調查專家對相關成果在國內外水平的認可程度。評價指標體系中指標權重的確定也經常使用德爾菲法，通過調查統計來獲得指標的權重。

（2）科學計量法。空間科學與應用成果產出的主要形式之一是學術論文，因此文獻計量法以及針對學術論文的評價是成果評估和產出對比的常用方法［16］，包括各類代表性論文（同行評議和非同行評議的期刊和會議論文等）的發表情況、引用情況和高被引論文、高影響因子期刊發表論文情況等。在高質量期刊發表的，經過同行評議且在其他重要期刊得到廣泛引用的成果，有可能在科學界產生重大影響［8］，論文發表期刊也是被空間科學與應用領域國際同行認可的一種有效方法，特征因子（Eigenfactor）既反映了期刊的相對重要性，又避免了期刊自引［7］。

（3）定量與定性相結合的評估方法。定性方法缺少量化分析，定量方法難以全面評價，因此定量與定性評估相結合成為常用方式。在空間科學與應用成果評估中，通常在使用文獻計量法等定量化評估（例如，論文及其水平的計量指標等）的基礎上，使用定性要素和指標進行全面評價（例如，經濟與社會效益等）。層次分析法（analytical hierarchy process，AHP）是一種可以將定性與定量相結合的評估方法［17］，已經用于空間科學與應用領域［18］，同樣可以用于空間科學與應用成果評估的指標權重計算和構建指標體系等。在項目評價（按照國家標準的基礎研究、應用研究和開發研究項目）中，常用的多維指數評價法是構建多層次指標體系、選擇計算方法、進行指標量化度量的評價方法，在能夠獲得廣泛認可的前提下，將可能量化的定性要素進一步量化是值得研究的。

6 問題與建議

6.1 問題

我國空間科學與應用成果評估方面尚存在的問題主要包括以下幾個方面：第一，缺少專門針對空間科學與應用領域的科技成果管理與成果評估方面的國家標準；第二，定量評估主要是學術文獻計量和學術影響力評估，其他相關成果尚難以定量化描述，缺少綜合性的定量化評估；第三，地面研制和預研階段的成果產出評估未充分得到重視，同時，對于長期在軌運行的空間科學與應用項目成果評估主要集中在重大或重要成果，階段性、體系化的成果評估尚待進一步完善；第四，空間科學與應用成果在經濟效益和社會效益方面的定量化評估不夠，缺少準確比較，影響成果轉移轉化的效率。

6.2 建議

針對上述存在問題，提出以下發展建議：一是建立空間科學與應用成果產出、管理與評估的國家標準體系，細化工程任務內的規范體系，同時，探索建立適合我國國情的空間科學與應用成果國際評估方法。二是按照國務院辦公廳印發的《關于完善科技成果評價機制的指導意見》以及科技部《關于破除科技評價中“唯論文”不良導向的若干措施（試行）》等政策，實施分類考核評價，注重標志性成果的質量、貢獻和影響。三是進一步加強在地面方案研究、關鍵技術攻關、載荷初樣和正樣研制、科學課題預研和前沿研究等各階段全過程的成果產出動態評估。四是在科學價值和應用效益評估的基礎上，加強對成果在社會影響力、直接或間接經濟效益、技術轉移轉化，以及解決社會民生相關各種問題、促進經濟社會發展進步等方面的評估，將對科技發展的引領帶動作用具體化。五是探索并加強第三方評估、多方參與、多元化監督的評估機制。六是進一步加強空間科學與應用成果的國際同行評估，提升國際同行參與比例，形成國際評估機制。

7 結論

我國空間科學與應用領域通過載人航天工程等國家重大專項的實施、空間科學衛星的發射和運行、大量空間應用業務衛星的建設和部署，已經取得一大批重要成果，在國際相關領域的影響力顯著提升，對相關科技成果評估的作用越發重要和突出。空間科學與應用涉及航天工程、空間科學、空間技術和空間應用，具有多學科領域、多研究方向、交叉融合等特點，且成果產出與評估動態性較強、周期較長，雖然成果評估已經形成初步的流程和形式，但與航天強國和科技強國的水平尚存在很大差距。在近年國家不斷加強科技成果評價的良好形勢下，在載人空間站建成和運行的重大機遇期，我國亟須進一步改革和完善空間科學與應用成果評估的體制機制，形成系列標準規范，進一步重視和加強成果轉移轉化，滿足大規模空間科學與應用成果產出與評估的迫切需求，促進高水平、高質量成果的可持續產出，取得更多重大原創成果，發揮在科學、應用與經濟社會等價值基礎上的綜合效益，全面服務國家創新驅動發展。