如何監管生成式人工智能在科學研究中的應用：風險與策略

摘要：生成式人工智能因其快速、強大的內容生成能力，在科學研究領域引發廣泛關注。如何有效監管其在科學研究中的應用成為討論焦點。在此方面，歐盟和美國率先采取行動，制定了系列人工智能政策，以全面規范人工智能的研發、部署與使用?；谡吖ぞ吆驼邇热莸亩S分析框架對近年來歐盟和美國的人工智能風險管理相關政策進行分析發現：生成式人工智能輔助科學研究可能涉及隱私安全、歧視傳播、誠信挑戰、監管滯后等風險。歐盟和美國在堅持構建可信賴的人工智能系統的目標定位以及以人為本的價值導向下，通過建立全面的風險管理框架，制定了風險界定與風險應對的具體流程和方法，并通過促進不同利益相關主體的共同參與和合作，明確了各自的權責。同時，為確保監管的順利實施，歐盟和美國還通過建立數據保護條例、版權保護法律和道德倫理框架等，完善了人工智能科研應用的監管機制。未來，我國應聯合各方力量，共同構建細致且適應性強的人工智能應用風險監管框架和相應的政策法律，以確保生成式人工智能在科學研究中的使用合乎道德倫理和法律規范。

關鍵詞：生成式人工智能；科學研究；風險管理框架；監管策略；學術倫理

中圖分類號：G434 文獻標識碼：A 文章編號：1009-5195（2024）06-0020-10 doi10.3969/j.issn.1009-5195.2024.06.003

一、引言

生成式人工智能技術是指具有文本、圖片、音頻、視頻等內容生成能力的模型及相關技術（中華人民共和國中央人民政府，2023）。自2022年ChatGPT發布以來，生成式人工智能快速發展，其所具備的巨大社會價值和商業潛力，已在各個領域引發變革，或將成為未來個體在生產生活中不可或缺的重要工具（高奇琦，2023）。在科學研究領域，生成式人工智能亦在有效輔助科研過程、提升科研效率方面（Kocoń et al.，2023；Lund et al.，2023）體現出潛在的應用價值。如在研究初期，ChatGPT可以輔助研究者進行“頭腦風暴”，提供創新想法和相關信息；在研究過程中，它可以輔助撰寫研究背景和文獻綜述，幫助研究者優化實驗設計、進行初步的數據分析和結果闡釋；在研究后期，它還可以翻譯、潤色語言文字，按照不同格式生成參考文獻等（劉寶存等，2023；Rahman et al.，2023）?？偠灾墒饺斯ぶ悄芸梢暂o助研究者處理耗時的常規性和程序性工作，在一定程度上能解放科研人員的時間和精力，使其投入更具創新性的工作之中。

然而，應用生成式人工智能進行科學研究仍面臨監管方面的困境（UNESCO，2023a）。一方面，生成式人工智能所使用的預訓練數據集大多來自網絡爬蟲（Brown et al.，2020），存在信息不準確、帶有偏見或有害信息，以及侵犯個人隱私和版權的風險等（中國科學技術信息研究所，2023）。作者如果不加分辨地采用這類信息，或將加劇制度性種族主義或性別歧視（蘭國帥等，2023；UNESCO，2023a）。另一方面，生成式人工智能可以生成高度接近自然語言的文本，審稿人很難辨別人類文章與機器生成文章的差異，或將加劇學術不端行為（Chowdhury et al.，2018），對整個科研生態產生危害。

在此背景下，一些研究者、科研機構發布了如何運用ChatGPT進行科學研究的具體操作指南（Atlas，2023；中國科學技術信息研究所，2023），為生成式人工智能在科研領域的規范應用奠定了基礎。然而，如何有效監督和管理這一新興技術在科研過程中的使用，特別是針對其可能引發的數據隱私泄露、倫理道德及安全風險等問題，現有研究尚缺乏系統探討。在這方面，歐盟與美國已率先采取行動，發布了如《歐盟人工智能法案》（European Union Artificial Intelligence Act，簡稱EU AI Act）、《人工智能風險管理框架》（Artificial Intelligence Risk Management Framework，簡稱AI RMF）等政策文件，以全面規范人工智能的研發、部署與使用?；诖?，本研究采用政策文本分析法，聚焦分析歐盟和美國在生成式人工智能應用于科研領域的監管策略及其差異，旨在為我國學術界、科研機構及政策制定者提供參考與建議。

二、研究設計

1.研究對象

歐盟委員會（European Commission）于2022年提出EU AI Act草案，并在2024年正式發布實施。該法案作為全球范圍內首個具有系統性、高約束力的法律框架，全面且細致地規定了人工智能領域政策制定、監管職責、風險分級監管策略、信息披露機制、數據保護原則及法律規范等內容，為人工智能的研發與應用提供了政策支撐。與此同時，美國國家標準與技術研究院（National Institute of Standards and Technology，簡稱NIST）于2021年提出AI RMF草案，并在2023年正式發布1.0版并實施。AI RMF側重于構建靈活且細致的風險管理體系，為人工智能技術的實際應用提供了詳細的風險評估與管理策略，旨在輔助組織識別、評估、緩解和監控人工智能系統中的潛在風險。這兩份政策文件都經過了長時間的深入研究與討論，適用范圍廣泛，且充分吸納了多維利益相關者的建議，在國際上具有較高的認可度和影響力，因此本研究將其作為核心分析對象。

同時，為了更全面且深入地探討歐盟和美國在生成式人工智能監管方面的實踐框架，本研究將上述政策文本所涉及的關聯政策也一并納入分析。關聯政策篩選遵循以下原則：（1）相關性，政策文本與生成式人工智能在科學研究中的應用相關；（2）典型性，政策文本應包含人工智能應用于科學研究的具體監管措施和實踐案例，以支持對監管策略的深入解讀。經過篩選，本研究最終確定了11份具有代表性的政策文本作為分析對象（見表1）。從政策發布主體上看，美國人工智能政策的發布機構呈現出多機構分散負責的特點，尚未形成全國性、統一的人工智能監管法律框架（US Congress，2020）。相比之下，歐盟人工智能政策的發布機構呈現高度一致性和統一性，政策制定與發布主體較為集中。從政策工具的數量分布上看，能力建設型政策工具使用頻率較高，共計6份；強制型政策工具為3份，組織建設型工具為2份。

2.分析框架

本研究采用X—Y二維政策分析框架。X維度為政策工具類型，是政府部門為實現政策目標而使用的輔助手段。政策工具有多種分類方式，本研究借鑒McDonnell等對政策工具的分類（McDonnell et al.，1987）。選擇該分類方式的原因有：第一，這種分類方式標準清晰、界定明確，易于區分。第二，這種分類方式所涉及的政策工具與人工智能監管具有高度的相關性。在結合歐盟和美國政策文件特點的基礎上，本研究最終確定的政策工具類型包括能力建設型、強制型、組織建設型三類。其中，強制型政策工具主要是制約和規范個體、組織等的行為，確保生成式人工智能應用的合法性和規范性，包括強制命令、實施處罰等；能力建設型政策工具主要是提供資源、培訓和信息等，包括資源配置、技術支持等；組織建設型政策工具主要是重構與優化權力關系，通過調整不同組織機構在生成式人工智能應用中的職責與權限，以促進組織內部的適應性變革，包括機構變革、功能調整等。

政策工具可以顯示政策為實現目標所采取的基本手段，但無法體現政策保護的具體方向，因此需進一步通過Y維度展現政策內容要素。政策內容的編碼方式有兩種：一是歸納式編碼，即直接根據實證數據編碼，形成自由節點，并根據節點之間的內在聯系形成子節點、父節點；二是推論式編碼，即根據已經確定的維度，形成研究框架，進而在研究框架下編碼（伍多·庫卡茨，2017）。本研究采用歸納式編碼，具體操作如下：首先，將11份政策文本導入NVivo14 Plus分析軟件，以政策文本條款為分析單元進行手動編碼。通過一級編碼，共形成了148項風險類型的自由節點和533項監管策略的自由節點。其次，對自由節點進行合并、聚類，將相互聯系的自由節點納入子節點，完成二級編碼。再次，從子節點中歸納概括出父節點，完成三級編碼?？傮w而言，針對生成式人工智能應用于科學研究所涉及的風險類型，歸納形成了隱私安全、歧視傳播、誠信挑戰、監管滯后四類風險（父節點）及其下7項風險內容（子節點）。針對Y維度政策內容要素，歸納形成了目標定位、價值導向、行動策略和監管機制四類監管策略（父節點）及其下14項風險應對措施（子節點）。

三、生成式人工智能輔助科學研究的風險

如前所述，在歐盟和美國的人工智能政策文件中，有關生成式人工智能輔助科學研究的風險可歸納為隱私安全、歧視傳播、誠信挑戰以及監管滯后四類，但二者對不同風險類型的關注度存在差異。表2顯示了歐盟和美國人工智能政策文件中提及的風險類型以及各類風險在政策文件中出現的頻數與占比。

1.隱私安全：算法不透明導致安全隱患

如表2所示，在隱私安全風險方面，歐盟在相關政策中16次提及算法不透明導致的安全隱患問題，占所有風險的14.41%；美國在這方面的關注度更高，共提及20次，占所有風險的17.54%。這側面反映了社會大眾對人工智能算法不透明的擔憂?！蹲匀弧冯s志一項針對1600名研究人員的調查顯示，超過69%的研究者擔憂人工智能系統的不透明性（Van Noorden et al.，2023）。生成式人工智能的算法“黑箱”，令人無法知曉或追溯其輸出是如何確定的（蘭國帥等，2023）。生成式人工智能依賴海量的數據支持，數據主要來源于互聯網，存在質量參差不齊的問題；同時，模型中存在數十億個參數，而每個參數及其權重都不透明，驗證其輸出內容是否遵循基本權利及現有規則成為一項艱巨任務（European Union，2024）。如果缺乏對數據質量、數據使用步驟和環節的審查，就難以保障數據的安全（Miller et al.，2013）。尤其是在使用人工智能進行科學研究的過程中，若用于研究或訓練人工智能模型的個人信息，被用于科研分析之外的其他用途（Department of Education of Australian Government，2023），將為個體隱私安全帶來風險。

2.歧視傳播：加劇固有偏見與有害歧視

生成式人工智能可能加劇固有偏見和有害歧視，引發歧視傳播風險。對此，美國相關政策中提及了31次，占比27.20%；歐盟提及20次，占比18.02%。與歐盟相比，歧視傳播是美國人工智能應用政策文本中更為關注的風險類型，尤其是對其中的“強化固有偏見”風險關注最多（見表2）。偏見以多種形式存在于生活之中，放大原有的偏見或將對特定社會群體造成不利影響（European Commission，2023a）。生成式人工智能中的偏見主要涉及三個方面：第一，系統偏見，源自特定機構的程序和設定，導致某些社會群體在系統中獲得不公正的優勢或弱勢地位；第二，統計性與計算性偏見，源自人工智能系統所采用數據集和算法的局限性；第三，人為偏見，源自人類思維中的系統性錯誤或數據處理方法的局限性，典型如McNamara謬誤，指過度依賴可量化的數據而忽視其他不可量化但重要的因素（NIST，2022）。從偏見類型上看，性別偏見、種族偏見和地域偏見的問題尤為突出。《自然》雜志上的一項研究結果顯示，當要求GPT-4為一系列臨床案例提供治療與診療建議時，其回答因患者的性別和種族而異（Van Noorden，2023）。歐盟在《科學中的人工智能：利用人工智能的力量加速發現和促進創新》報告中指出，人工智能的設計和研發過程中，男性主導的現象可能導致算法和模型忽略女性視角及其需求，從而不能充分反映社會的多樣性（European Commission，2023a）。算法模型可能復制并放大性別歧視（Van Doorn，2017）。此外，歐洲的人工智能研發機構、人工智能研究專家主要集中在法國、德國和瑞士，因而可能在人工智能的部署與使用過程中加劇地域偏見（European Commission，2023b）。類似地，聯合國教科文組織也指出，互聯網上南半球、北半球邊緣化地區等人群的數據不足，算法將加劇數據匱乏地區邊緣化問題（UNESCO，2023a）。

3.誠信挑戰：內容偽造與侵犯知識產權

歐盟和美國均高度重視生成式人工智能可能帶來的誠信挑戰。具體而言，歐盟在政策中對此類風險提及了34次，占比30.63%；而美國則提及了38次，占比33.33%（見表2）。一方面，生成式人工智能存在內容偽造與篡改的問題。以ChatGPT為例，其可以生成看似合理的答案（UNESCO，2023b），但在信息準確性和邏輯推理上卻存在明顯問題。通過生成式人工智能檢索到的參考文獻可能包含相關性低、過時的，甚至是編造的資料，研究人員在使用時需要謹慎甄別（European Commission，2023a）。尤其對于學術界的新手而言，因缺乏豐富的先驗知識，更易被這些看似合理實則錯誤的信息所誤導（UNESCO，2023a）。

另一方面，生成式人工智能可能助長學術剽竊與知識產權侵犯等問題。生成式人工智能具備的快速生成高度逼真文本的功能，可能加劇論文抄襲、考試作弊等行為（Susnjak，2022）。已有研究表明，人工智能能夠創作出與領域專家水平相當甚至更出色的文本內容（Schwitzgebel et al.，2023），進而加大了學術不端檢測的難度（中國科學技術信息研究所，2023）。審稿人難以辨別這些由生成式人工智能輔助學者生成或完全由生成式人工智能生成的論文。研究人員也可能利用這一漏洞，將生成式人工智能生成的內容冒充為自己的研究成果，以不誠實的手段產出低質量的科研成果（王佑鎂等，2023）。此外，個體在未經授權的情況下，利用生成式人工智能竊取他人研究思想、研究創意或研究成果，還可能構成內容剽竊或版權侵犯的嚴重問題（UNESCO，2023a）。

4.監管滯后：立法滯后與監管共識不足

歐盟與美國均表現出對人工智能立法與監管措施滯后問題的關注，并體現在其相應的政策中。具體而言，歐盟對此類風險提及了41次，占比36.94%；而美國則提及了25次，占比21.93%。歐盟相對于美國而言，對監管滯后問題的關注度更高（見表2）。生成式人工智能正在以驚人的速度迭代，其發展速度遠超國家監管制度的改革步伐。聯合國教科文組織近期的一項覆蓋450所大中小學的全球性調研結果顯示，僅有不到10%的機構制定了關于生成式人工智能應用的組織規范或操作指南（UNESCO，2023a）。盡管已有部分高等院校、研究機構及出版商發布了相關建議或指南，但這些建議或指南尚不全面，且在實際應用中，如何根據具體情況選擇合適的指南還缺乏有效的指導（European Commission，2023a）。由此可見，在利用生成式人工智能進行科學研究時，科研機構普遍面臨規范性政策與指南缺失的困境，這凸顯出國家層面加快政策制定的緊迫性。從更廣泛層面來看，國際社會在立法方向上尚未形成廣泛共識，增加了監管框架構建與實施的難度。特別是在數據保護、公平與倫理框架構建，以及人工智能生成內容的版權保護等核心領域，現有法律體系顯得尤為不足，亟須立法層面的跟進與完善（European Union，2024）。

四、生成式人工智能輔助科學研究的監管策略

如前所述，研究根據政策內容，將歐盟與美國有關生成式人工智能應用的監管策略歸納為四個關鍵維度：目標定位、價值導向、行動策略和監管機制。其中，目標定位和價值導向是監管策略制定的基礎，提供監管的方向和行動指引；行動策略是監管策略的核心，明確監管具體的實施方式；監管機制是監管有效運行的保障，確保監管措施得以落實。為了更好地展現歐盟和美國生成式人工智能監管政策中所采取的政策工具對政策內容的支持情況，研究以政策工具為X維度，政策內容為Y維度，形成了不同發文主體的交叉響應結果，詳見表3。

如表3所示，歐盟與美國的人工智能政策在目標定位上，響應次數由高到低依次是安全性（37次）、透明性與可問責（32次）、可解釋與可理解（28次）、公平與偏見管理（22次）、隱私增強（19次）、有效性與可靠性（10次），以及安全與彈性（8次）。安全性（Safe）強調生成式人工智能系統不能對人、財產或環境造成威脅。透明性指生成式人工智能系統及其輸出結果應能夠被使用者識別，使用者也應明確披露對生成式人工智能的使用情況；可問責指關鍵利益相關者應建立問責標準和相關信息?？山忉屩干墒饺斯ぶ悄芟到y的運作機制是可解釋的，可理解指生成式人工智能的輸出結果是可理解的。公平與偏見管理指消除生成式人工智能輸出中存在的有害偏見、歧視的內容。隱私增強指保護使用者的自主權、身份和尊嚴，避免泄露或濫用個人信息。有效性指生成式人工智能滿足特定預期要求，可靠性指生成式人工智能系統能夠按要求無故障運行。安全（Secure）指通過保護機制防止未經授權的訪問，而彈性指發生意外的不利事件后能夠恢復正常功能。

總體來看，歐盟和美國人工智能政策中，對安全性、透明性與可問責、可解釋與可理解的響應次數較多，說明二者均倡導建立可信賴的人工智能系統，且在標準制定上較為一致。而對比二者在政策工具上的使用情況發現，歐盟使用強制型政策工具在安全性（26次，占比70.27%）、透明性與可問責（10次，占比31.25%）、可解釋與可理解（17次，占比60.71%）等方面的響應次數更多；而美國使用能力建設型工具在公平與偏見管理（12次，占比54.55%）上的響應次數更多。

2.價值導向：以人為本的價值導向

歐盟與美國的人工智能監管政策在“以人為本”的價值導向方面分別響應了14次與13次，二者均主要使用能力建設型工具倡導并貫徹實施這一理念。歐盟強調監管的核心在于維護歐盟的基本價值觀，尊重人類尊嚴、自由、平等、民主及法治（European Union，2024），并保障個體基本權利，如免受歧視、數據隱私保護，以及兒童權益維護等。美國NIST在AI RMF中提出“以人為本”人工智能系統設計的六大核心要素。第一，深入理解用戶、任務及使用環境，以此作為設計決策的基石。第二，確保用戶在設計與開發的全周期中持續參與，以即時整合用戶需求與反饋。第三，建立用戶導向的評價體系，驅動設計的持續優化與完善。第四，實施原型設計、測試與迭代修改，形成持續改進的循環過程。第五，全面考量所有用戶的體驗，促進設計成果的和諧與高效。第六，組建跨學科設計團隊，融合多樣知識與技能，以多元化視角激發創新潛力（NIST，2023）。相較于歐盟統一的價值規范，美國NIST所倡導的以人為本的人工智能系統設計原則在人機交互的語境下展現出更為具體的技術與倫理考量，包括確定特定的用戶群體和目的、設計差異化應用場景、促進科學研究者與專家采用實證研究以反饋評估人工智能系統的適用性等。

3.行動策略：風險管理框架與多方參與

（1）風險管理框架：風險界定與應對措施

風險管理框架（Risk Management Framework，簡稱RMF）已成為歐盟和美國在監管人工智能應用過程所采取的共識性策略。如表3所示，歐盟主要使用強制型政策工具以建立風險管理框架，針對風險等級界定響應10次（占比40.00%）、風險應對響應11次（占比22.45%）。EU AI Act中明確界定了四個風險等級：不可接受風險、高風險、有限風險和極低風險。不可接受風險是指威脅人類生命、安全和權利的人工智能系統，這類人工智能系統禁止投放市場、投入服務或使用。高風險是指對個人健康、安全與基本權利產生高風險的人工智能系統，在投入市場前必須按照法案進行評估。EU AI Act界定了8項高風險等級的人工智能系統。有限風險是指對用戶權利或安全構成一定風險的人工智能系統，使用者在應用系統時能夠意識到是在與人工智能互動，且能夠根據個體判斷進行決策。根據這一標準，應用生成式人工智能進行科學研究的行為隸屬于有限風險等級。相較于高風險人工智能系統，有限風險人工智能系統具有一定自由度，在投放市場或使用前無需特殊的牌照、認證、報告、監督、記錄留存，但人工智能供應商和使用者應承擔人工智能透明度方面的義務。根據美國NIST的界定，若人工智能系統是在包含敏感或受保護數據（例如個人身份信息）的大型數據集上進行訓練，或其輸出對人類有直接或間接的重大影響，則該系統應被明確界定為高風險等級；若僅與計算系統交互，并且使用非敏感數據集進行訓練的人工智能系統，在初始風險評估時不需要被賦予過高的風險等級（NIST，2023）。綜合上述標準，應用生成式人工智能進行科學研究的風險等級主要因具體應用場景、數據集而異。如果生成式人工智能處理的是非敏感數據集且研究結果的影響可控，則屬于有限風險等級；如果處理的是敏感數據，或可能對人類健康、社會政策等產生重大影響，則需要重新評估其風險等級，并可能升級為高風險。

美國在風險應對中較多地使用能力建設型政策工具，響應次數達35次，占比71.43%；相比之下，歐盟主要使用強制型政策工具。風險應對包括映射（Map）、測量（Measure）、管理（Manage）和治理（Govern）四個核心步驟，它們并非線性排列而是相互交織、彼此關聯的（NIST，2023）。映射旨在定義和記錄人工智能使用流程；測量旨在采用科學的方法分析、評估或監測人工智能的風險及影響；管理旨在確定風險等級并采取相應行動；治理旨在建立組織的風險管理文化，澄清、定義監督人工智能系統的角色和責任。在具體操作層面，AI RMF在其官方網站提供了一系列工具包，包括手冊、路線圖和操作示例等（NIST，2024）。以美國圣何塞市（San José）為例，首先，該市的政策執行者進行背景調查，確立監管機構（人工智能治理負責人、工作組、數據隱私咨詢工作組等）及其權責，并采取相應監管措施。其次，參照AI RMF的四個核心步驟及其下的72個子項對現有的人工智能治理情況進行評分，并針對低分項采取針對性措施，制定行動計劃。例如，針對圣何塞市在測量方面得分較低的問題，該市采取重新確認人工智能治理關鍵內容、提供相應教育培訓、增設反饋渠道、探索第三方合作機會等措施，以改進當前的人工智能系統。盡管NIST尚未直接提供具體案例說明AI RMF如何應用于科學研究，但可以參照上述步驟指導生成式人工智能在科學研究中應用的風險管理。特別是在測量過程中，應重點關注科學研究是否可能危害個體的基本權利、心理健康或公共安全，是否存在信息的濫用情況，以及輸出內容是否帶有冒犯性或歧視性等。

（2）利益相關者共同參與

人工智能的風險防范和治理需要利益相關者共同承擔責任。對此，歐盟和美國的人工智能政策均有較多響應，其中歐盟采用各類政策工具響應27次，美國采用各類政策工具響應26次。在歐盟和美國的相關政策中，提及的利益相關者包括政府和地方當局、人工智能供應商、科研機構與科研工作者，以及其他行業合作伙伴。從比例上看，政策工具對科研機構與科研工作者、政府與地方當局的響應比例較高，達34.00%；其次為人工智能供應商，占比25.00%。從風險管理視角來看，不同利益相關者的職責不同。

第一，政府和地方當局主要提供政策支持和科研資助。如表3所示，美國主要使用組織建設型政策工具來提供政策支持（18次，占比33.96%），規定并調整如科學與技術政策辦公室（Office of Science and Technology Policy，簡稱OSTP）、能源部（Department of Energy，簡稱DOE）、國家科學基金會（National Science Foundation，簡稱NSF）等機構在人工智能監管方面的具體職責，并成立國家人工智能倡議辦公室來專門執行相關任務（US Congress，2020）。DOE負責成立國家人工智能咨詢委員會，旨在為總統和倡議辦公室提供政策指導，并致力于提升與DOE使命緊密相關的人工智能系統的可靠性。在科學研究領域，NSF負責制定人工智能系統的風險管理框架，從財政角度支持人工智能研發機構，推動人工智能技術的研發和應用，資助相關領域的研究和教育活動，以促進知識創新和人才培養。歐盟則倡導通過科研資助來調動多方利益相關者共同開展人工智能研究，組織人工智能行業專家、科研工作者開展科研倫理、風險評估等方面的研究。例如，歐盟委員會在“地平線歐洲戰略計劃”（Horizon Europe Strategic Plan）項目中納入科研倫理的指南制定、審查機制及培訓等內容（European Commission，2023a），旨在確保人工智能輔助科學研究在合法、合規和道德的框架內開展。

第二，人工智能供應商應提升人工智能系統的透明度，確保人工智能輸出的內容以機器可讀的格式標記，以便于回溯和查驗。透明度主要指數據透明度，如底層數據集、數據來源和數據處理等，都需說明采納和應用的方法，同時需要披露知識產權和版權使用情況。為提升人工智能系統的透明度，供應商應在充分考慮各種類型內容的局限性和特殊性、實施成本和公認的技術水平的基礎上，在相關技術標準中提供解決方案（European Union，2024）。

第三，研究者承擔對科研產出的最終責任，應嚴格遵守科研規范，不偽造、篡改數據，以維護科研的嚴肅性和科學性（European Commission，2023a）。在應用生成式人工智能提升語言可讀性、解釋基礎數據時，研究者應保持批判性思維，避免過度依賴生成式人工智能，并在論文的方法、聲明處清晰標明生成式人工智能的使用過程與方法（European Commission，2023b；Rahman et al.，2023）。科研機構在充分考慮使用者的技術知識、經驗、教育背景和使用環境的基礎上，給予人工智能使用者相應的技術培訓，提升其人工智能素養，以推動科學創新（European Commission，2023a；NIST，2023；European Union，2024）。

第四，其他行業合作伙伴共同參與人工智能治理，例如國家科技管理機構、出版集團等，共同制定并協商關于人工智能在科學研究領域應用的使用準則和指南等（中國科學技術信息研究所，2023）。

4.監管機制：法律規范與倫理框架

（1）數據保護條例

歐盟使用政策工具對數據保護響應37次，占比84.09%；其中使用強制型政策工具響應29次，占比65.91%。相對而言，美國使用政策工具響應較少，各類政策工具共響應7次，占比15.91%（見表3）。歐盟認為，建立數據保護、數據隱私，以及數據的再利用、共享和匯集的可信機制和服務，對開發高質量、數據驅動的人工智能模型至關重要（Meszaros et al.，2021；European Union，2024）。2016年，歐盟率先發布了《通用數據保護條例》，成為全球數據保護的典范。該條例在第三章中規定了數據主體的權責，包括要求對自動決策算法給出解釋，在對算法決策不滿意時可以選擇匿名或退出等。為鼓勵科學研究，《通用數據保護條件》設立了三項豁免條款：一是數據處理原則的豁免，即在采取適當的保護措施后，某項研究中的數據也可以用于與原始研究目的不同的研究項目。二是數據主體權利的有限豁免，例如，醫療領域科研人員可以長期保留患者的健康數據，即便數據主體決定撤回對研究的同意，研究人員也可以選擇不刪除其個人數據。三是歐盟成員國可依據實際情況制定額外的豁免規則。盡管科學研究享有一定豁免權，但在數據處理中也應遵循“合法、公平、透明”的基本原則。尤其在醫學、生物醫學等領域，高?；蚩蒲袡C構當處理涉及個體民族、健康、基因等高度敏感數據時，數據控制者與處理者必須以“公共利益或法定職權”為合法處理基礎，通過目的性、必要性和利益平衡測試，采取一定技術與管理措施以保護個體隱私，確保數據處理的合法性。

（2）版權保護法律

針對人工智能生成內容的版權問題，美國使用強制型政策工具響應18次，占比58.07%；歐盟使用政策工具響應4次，占比12.90%（見表3）。根據美國版權局（US Copyright Office）發布的《版權登記指南：包含人工智能生成材料的作品》的規定，生成式人工智能輸出的內容不受美國版權法保護，只有由人類的創造力所產生的作品才受版權保護（US Copyright Office，2023）。因此，如果科研成果是由生成式人工智能生成的，則不受美國版權法的保護。歐盟2020年發布的《人工智能的趨勢與發展：對知識產權框架的挑戰》（Trends and Developments in Artificial Intelligence：Challenges to the Intellectual Property Rights Framework）認為，現有的版權法足以靈活應對人工智能所帶來的挑戰，因此無需大規模調整。盡管未有明確的新法規，但EU AI Act中對人工智能供應商提出了透明性要求，規定其需在構建系統時披露所使用的受版權保護的材料。為實現這一目標，供應商可以采用高科技手段，如水印技術，來標識這些受版權保護的內容（European Union，2024）。不過，目前法律界仍在就一些具體情況進行辯論。例如，當人工智能生成的科研結果與受版權保護的作品存在相似之處，但并未構成完全復制時，這些結果是否應受到版權法的保護（NIST，2023）。

（3）道德倫理框架

歐盟相較于美國更加重視建構道德倫理框架，采用政策工具對此響應40次，占比74.07%；而美國則響應14次，占比25.93%（見表3）。歐盟發布了一系列規范道德倫理的框架指南，如《可信賴人工智能倫理指南》（2019年）、《算法的可問責和透明的治理框架》（A Governance Framework for Algorithmic Accountability and Transparency）（2019年）等，為全球范圍內的人工智能倫理治理樹立了典范。上述指南和框架共同構成了歐盟在人工智能技術和數據處理方面公平性法案的核心內容，旨在通過推動人工智能技術的公平、透明與可持續發展，消除信息獲取的不平等現象，確保個體能夠平等、普遍地獲得數據和技術資源，從而有效縮小信息鴻溝，促進科學研究的公平性和多樣性。2020年，歐盟推出“可信賴人工智能系統評估清單”（Assessment List for Trustworthy AI，簡稱ALTAI），將道德倫理框架轉化為易于訪問、動態更新的自評工具，用以輔助科研人員自主核查在使用生成式人工智能過程中是否充分考慮了多樣性因素，如性別、殘疾狀況、社會與經濟地位、種族及文化背景等。

五、結論與討論

針對生成式人工智能應用于科學研究中存在的潛在風險，歐盟與美國在構建風險管理框架上形成了基本共識，但也存在一定差異。歐盟在人工智能政策中明確提出了統一且規范的指導原則，《歐盟人工智能法案》與歐盟過往的法律與政策文件保持高度一致性，包括強調構建可信賴人工智能系統、秉承以人為本的價值導向等。同時，其也注重與現有二級立法體系的協同，在數據保護、不歧視原則及性別平等等關鍵領域保持了高度一致，包括重視數據保護、構建公平性法案和道德倫理框架等。相比之下，美國NIST提供了更具操作性的生成式人工智能監管框架。政策制定者可以在充分考量地區政治、經濟和文化的基礎上，通過映射、測量、管理和治理等措施靈活應對具體情境，識別監管缺失并改進。

當前生成式人工智能的發展與應用已經超越國界，不同國家、地區間對人工智能的協同監管將成為一種趨勢。2023年，國家網信辦、國家發展改革委、教育部等共同制定并發布了《生成式人工智能服務管理暫行辦法》（簡稱《辦法》）?！掇k法》提出對生成式人工智能服務的風險進行評判，并根據其服務適用的領域進行行業部門監管。同年，國務院辦公廳印發的《國務院2023年度立法工作計劃》（國辦發〔2023〕18號），將起草《人工智能法草案》列入國務院立法工作計劃等。隨后，中國簽署了《布萊切利宣言》（Bletchley Declaration），強調通過國際合作，建立人工智能應用監管方法。美國和歐盟的人工智能監管政策，為我國生成式人工智能的發展帶來兩點重要啟示：第一，我國人工智能系統供應商、科研機構以及科研人員應協同合作，共同構建一套細致且適應性強的監管框架。該框架應全面考量人工智能模型的應用目的、科研應用場景以及訓練數據的敏感性等因素，據此制定詳盡的風險等級劃分標準與監管措施；同時可參考美國NIST的AI RMF配套工具包以及歐盟的ALTAI自查工具等，為科研人員提供易于理解且操作性強的監管工具，以確保其在科學研究過程中嚴格遵循道德倫理和法律規范。第二，我國在制定人工智能應用于科學研究的法律法規與政策文本時，應充分考慮政策工具與現行政策體系的協調性，注重政策工具運行的連貫與穩定性。在此過程中，還應著重關注人工智能應用中所涉及的科研數據保護、版權歸屬等核心議題，完善相關法律規范。

參考文獻：

[1][德]伍多·庫卡茨（2017）.質性文本分析：方法、實踐與軟件使用指南[M].朱志勇，范曉慧.重慶：重慶大學出版社：34-35.

[2]高奇琦（2023）.GPT技術與人文社會科學知識生產：智能時代的學者與學術研究[J].上海交通大學學報（哲學社會科學版），31（6）：111-122.

[3]蘭國帥，杜水蓮，宋帆等（2023）. 生成式人工智能教育：關鍵爭議、促進方法與未來議題——UNESCO《生成式人工智能教育和研究應用指南》報告要點與思考[J].開放教育研究，29（6）：15-26.

[4]劉寶存，茍鳴瀚（2023）. ChatGPT等新一代人工智能工具對教育科研的影響及對策[J].蘇州大學學報（教育科學版），11（3）：54-62.

[5]王佑鎂，王旦，梁煒怡等（2023）.“阿拉丁神燈”還是“潘多拉魔盒”：ChatGPT教育應用的潛能與風險[J].現代遠程教育研究，35（2）：48-56.

[6]中國科學技術信息研究所（2023）.學術出版中AIGC使用邊界指南[EB/OL].[2024-01-19].https：//www.istic.ac.cn/ueditor/jsp/upload/file/20230922/1695373131354098301.pdf.

[7]中華人民共和國中央人民政府（2023）.生成式人工智能服務管理暫行辦法[EB/OL].[2024-01-19].https：//www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm.

[8]Atlas， S. （2023）. ChatGPT for Higher Education and Professional Development： A Guide to Conversational AI[EB/OL]. [2024-01-19]. https：//digitalcommons.uri.edu/cgi/viewcontent.cgi？article=1547&context=cba_facpubs.

[9]Brown， T.， Mann， B.， & Ryder， N. et al. （2020）. Language Models Are Few-Shot Learners[J]. Advances in Neural Information Processing Systems， 33：1877-1901.

[10]Chowdhury， H. A.， & Bhattacharyya， D. K. （2018）. Plagiarism： Taxonomy， Tools and Detection Techniques[EB/OL]. [2024-01-19]. https：//arxiv.org/abs/1801.06323.

[11]Department of Education of Australian Government（2023）. The Australian Framework for Generative Artificial Intelligence （AI） in Schools[EB/OL]. [2024-01-19]. https：//www.education.gov.au/schooling/announcements/australian-framework-generative-artificial-intelligence-ai-schools.

[12]European Commission （2023a）. AI in Science Harnessing the Power of AI to Accelerate Discovery and Foster Innovation[EB/OL]. [2024-01-19]. https：//apre.it/wp-content/uploads/2023/12/ec_rtd_ai-in-science-pb.pdf.

[13]European Commission （2023b）. Living Guidelines on the Responsible Use of Generative AI in Research[EB/OL]. [2024-01-19]. https：//european-research-area.ec.europa.eu/news/living-guidelines-responsible-use-generative-ai-research-published.

[14]European Union （2024）. EU AI Act[EB/OL]. [2024-07-19]. https：//artificialintelligenceact.eu/the-act/.

[15]Kocoń， J.， Cichecki， I.， & Kaszyca， O. et al. （2023）. ChatGPT： Jack of All Trades， Master of None[EB/OL]. [2024-01-19]. https：//arxiv.org/abs/2302.10724.

[16]Lund， B. D.， & Wang， T. （2023）. Chatting About ChatGPT： How May AI and GPT Impact Academia and Libraries？[J]. Library Hi Tech News， 40（3）：26-29.

[17]McDonnell， L. M.， & Elmore， R. F. （1987）. Getting the Job Done： Alternative Policy Instruments[J]. Educational Evaluation and Policy Analysis， 9（2）：133-152.

[18]Meszaros， J.， & Ho， C. H. （2021）. AI Research and Data Protection： Can the Same Rules Apply for Commercial and Academic Research under the GDPR？[J]. Computer Law & Security Review， 41：105532.

[19]Miller， H. G.， & Mork， P. （2013）. From Data to Decisions： A Value Chain for Big Data[J]. IT Professional， 15（1）：57-59.

[20]NIST （2022）. Towards a Standard for Identifying and Managing Bias in Artificial Intelligence[EB/OL]. [2024-01-19].https：//www.nist.gov/publications/towards-standard-identifying-and-managing-bias-artificial-intelligence.

[21]NIST （2023）. Artificial Intelligence Risk Management Framework （AI RMF 1.0）[EB/OL]. [2024-01-19]. https：//nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf.

[22]NIST （2024）. Use Cases[EB/OL]. [2024-07-19]. https：//airc.nist.gov/Usecases.

[23]Rahman， M. M.， Terano， H. J.， & Rahman， M. N. et al. （2023）. ChatGPT and Academic Research： A Review and Recommendations Based on Practical Examples[J]. Journal of Education， Management and Development Studies， 3（1）：1-12.

[24]Schwitzgebel， E.， Schwitzgebel， D.， & Strasser， A. （2023）. Creating a Large Language Model of a Philosopher[EB/OL]. [2024-01-19]. https：//arxiv.org/abs/2302.01339.

[25]Susnjak， T. （2022）. ChatGPT： The End of Online Exam Integrity？ [EB/OL]. [2024-01-19]. https：//arxiv.org/abs/2212.09292.

[26]UNESCO （2023a）. Guidance for Generative AI in Education and Research[EB/OL]. [2024-01-19]. https：//www.unesco.org/en/articles/guidance-generative-ai-education-and-research.

[27]UNESCO （2023b）. Generative AI and the Future of Education[EB/OL]. [2024-01-19]. https：//unesdoc.unesco.org/ark：/48223/pf0000385877.

[28]US Congress （2020）. National Artificial Intelligence Initiative Act of 2020[EB/OL]. [2024-01-19]. https：//www.congress.gov/bill/116th-congress/house-bill/6216.

[29]US Copyright Office （2023）. Copyright Registration Guidance： Works Containing Material Generated by Artificial Intelligence[EB/OL]. [2024-01-19]. https：//www.copyright.gov/ai/ai_policy_guidance.pdf.

[30]Van Doorn， N. （2017）. Platform Labor： On the Gendered and Racialized Exploitation of Low-Income Service Work in the“On-Demand”Economy[J].Information， Communication Society， 20（6）：898-914.

[31]Van Noorden， R.， & Perkel， J. M. （2023）. AI and Science： What 1，600 Researchers Think[J]. Nature， 621（7980）：672-675.

How to Regulate the Application of Generative Artificial Intelligence in Scientific Research：

Risks and Strategies

——Based on an Analysis of EU and U.S. AI Policies

Abstract： Generative artificial intelligence has garnered extensive attention in scientific research due to its rapid and powerful content generation capabilities， sparking discussions on how to effectively regulate its application in scientific research. In this regard， the European Union and the United States have taken the lead in initiating actions， formulating a series of AIGC policies to comprehensively regulate its research， deployment and use. Based on a two-dimensional analytical framework of policy tools and policy content， an analysis of recent EU and U.S. policies related to risk management reveals that the use of AIGC to assist scientific research may pose risks such as privacy and security concerns， dissemination of discrimination， integrity challenges and regulatory lags， etc. The EU and the U.S.， while adhering to the goal oTiGCLl6/qxCReKZ/M/ta3g==f building trustworthy AI and a human-centered value orientation， have established comprehensive risk management frameworks that outline specific processes and methods for risk identification and response. They have clarified the respective rights and responsibilities of different stakeholders by promoting their participation and collaboration. Meanwhile， to ensure the implementation of regulation， the EU and the U.S. have improved the regulatory mechanism by establishing data protection regulations， copyright protection laws and ethical frameworks. In the future， China should unite different parties to construct a detailed and adaptable regulatory framework for AIGC application risks and corresponding policies and laws， ensuring that the use of AIGC in scientific research complies with ethical and legal norms.

Keywords： Generative Artificial Intelligence; Scientific Research; Risk Management Framework; Regulatory Strategies；Academic Ethics