基于國內外政策分析的醫療人工智能倫理風險治理研究

〔摘要〕隨著人工智能技術的迅速發展和廣泛應用，給人們生活和工作帶來便利的同時，也帶來了透明度缺失、隱私泄露、自主決策權受限、責任歸屬模糊等一系列倫理挑戰。通過比較人工智能在醫療領域應用的倫理風險治理情況，系統分析了來自10個國家和國際組織發布的30個政策法規，揭示了國際對于醫療人工智能倫理治理的共識與差異。結果發現：透明度、公平公正、不傷害、隱私保護、自由自主、負責任、以人為本是國際公認的7種倫理原則，為構建安全、可信、尊重人性的醫療人工智能生態系統提供了重要指導；此外，深入比較了中國、美國、歐盟的指南中的風險評估方法，發現關于風險類型、風險分級、風險評估流程標準均有不同，這種差異既反映了不同文化、法律背景及監管理念的差異，也提示了在全球化背景下加強國際合作的必要性。因此，建議制定適用于中國國情醫療人工智能倫理風險治理標準和規范，在借鑒國際經驗的基礎上，積極主動開展風險評估，減少倫理挑戰，推動醫療人工智能技術的健康合理應用。

〔關鍵詞〕醫療人工智能；倫理風險治理；風險評估

〔中圖分類號〕R-052 〔文獻標志碼〕A 〔文章編號〕1001-8565（2024）09-1061-07

DOI： 10. 12026/j. issn. 1001-8565. 2024. 09. 07

*基金項目：國家自然科學基金青年基金項目“臨床研究倫理審查風險與受益評估指標體系研究”（72104255）；中國醫學科學院醫學與健康科技創新工程項目“基于衛生健康體系學的健康中國建設戰略研究”（2021-I2M-1-046）；中日友好醫院高水平項目“臨床研究風險評估量表開發與應用研究——以呼吸領域項目為例”（2023-NHLHCRF-GLMS-14）

Research on ethical risk governance of medical artificial intelligence based on domestic and foreign policy analysis

ZHANG Aiyi1， YU Zhongguang2，3

（1. Clinical Pharmacology Research Center， Peking Union Medical College Hospital， Beijing 100005，China；2. Respiratory center， China-Japan Friendship Hospital， Beijing 100029， China；3. School of Economics and Management， Wuhan University， Wuhan 430072， China）

Abstract： With the rapid development and widespread application of artificial intelligence （AI） technology，it has brought convenience to people’s lives and work， while bringing a series of ethical challenges such as lack of transparency， privacy leakage， limited autonomy in decision-making， and blurred responsibility attribution. By comparing the ethical risk governance of the application of AI in the medical field， this paper systematically analyzed 30 policy regulations issued by 10 countries and international organizations， revealing the consensus and differences in ethical governance of medical AI internationally. The results showed that transparency，fairness and justice， non-harm， privacy protection， freedom and autonomy， responsibility， and people-oriented principles were seven internationally recognized ethical principles， providing important guidance for building a safe， trustworthy， and humane-respecting medical AI ecosystem. In addition， this paper deeply compared the risk assessment methods in the guidelines of China， the United States， and the European Union， as well as found differences in risk types， risk grading， and risk assessment process standards. These differences not only reflect diversities in different cultural， legal backgrounds， and regulatory concepts， but also highlight the necessity of strengthening international cooperation in the context of globalization. Therefore， it is recommended to develop ethical risk governance standards and norms for medical AI that applicable to China’s national conditions. Based on drawing on international experience， proactively carry out risk assessments，reduce ethical challenges， and promote the healthy and rational application of medical AI technology.

Keywords： medical artificial intelligence； ethical risk governance； risk assessment

隨著人工智能技術（artificial intelligence，AI）的迅速發展和廣泛應用，人類正在進入 “AI時代”，在給人們帶來生活和工作便利的同時，也帶來了一系列倫理挑戰[1]。2022年3月，中共中央辦公廳、國務院辦公廳印發了《關于加強科技倫理治理的意見》，將人工智能列入科技倫理治理的重點領域[2]。為應對人工智能技術應用帶來的風險，世界各國相繼出臺人工智能倫理原則和倫理治理指南，以確保人工智能的發展與社會價值相一致。當前人工智能在醫療健康領域進行了廣泛的探索性應用，出現了偏見歧視、隱私、透明性、安全性、責任歸屬等倫理挑戰[3]。為避免濫用人工智能產生的倫理風險，世界衛生組織（WHO）于2021年6月28日發布了《醫療衛生中人工智能的倫理治理》指南，提出人工智能用于醫療健康的倫理政策和原則。然而，針對醫療人工智能倫理治理問題，中國迄今尚未形成統一的倫理風險治理標準和規范。因此，為進一步完善中國醫療人工智能風險治理體系，本文將對國內外現有人工智能風險治理政策和指南進行系統梳理、比較和分析，總結人工智能倫理原則和風險評估經驗，為及時識別醫療人工智能倫理風險、做好風險防范提供參考。

1 資料來源與方法

1. 1 檢索方法

為了解全球醫療相關人工智能政策和指南，本研究以“人工智能”“醫療人工智能”“倫理政策”“Artificial intelligence”“Artificial Intelligence Ethics”“Medical artificial intelligence”等為檢索關鍵詞，檢索世界衛生組織、歐盟委員會、中國、美國、英國、加拿大、日本、韓國、澳大利亞、新西蘭等國際組織官網和國家政府網站，檢索時間為2024年1月9日。

1. 2 檢索結果

本次共檢索出89個AI倫理文件，對檢索到的政策文件進行篩選和分類，剔除無效信息，共收集了來自10個國家和國際組織發布的30個醫療相關的人工智能倫理指南文件（見表1）。其中，世界衛生組織1個、歐盟委員會6個、中國7個、英國6個、美國5個、加拿大1個、日本1個、韓國1個、澳大利亞1個、新西蘭1個。大多數文件由政府機構（50.00%）發布，其次是由專業協會/科學協會（30.00%）發布和學術研究機構（13.33%）發布。

2 研究結果

2. 1 倫理準則

本研究從30篇醫療AI倫理指南中凝練出7個首要倫理準則，并給出了基本解釋及其在30個指南中提及的文件數量。準則分別是：透明性原則、公平公正原則、安全性原則、隱私保護原則、負責任原則、自由自主原則、以人為本原則，詳見表2。

2. 1. 1 公平公正原則

英國衛生和社會保健部發布的《數據驅動醫療保健技術的初步行為準則》提出公平公正原則[4]是指AI系統的設計和使用不偏袒任何特定群體，歐盟的《可信賴人工智能的倫理指南》和《醫療人工智能：應用、風險以及倫理與社會影響》[5]認為AI技術的應用不應存在偏見和歧視。WHO、中國、美國、韓國發布的一些指南將公平公正定義為尊重多樣性、包容性、一致性和平等原則，提出不應區分年齡、性別、收入、種族、傳統文化、宗教信仰、性取向、能力或受人權法保護的其他特征，公平公正地對待不同社會群體[6]。澳大利亞的《人工智能倫理框架》和加拿大的《放射學中與人工智能相關的倫理和法律問題白皮書》指出AI可能對可識別群體的包容性和公平構成威脅，特別是已經被邊緣化的群體，醫療AI的設計和實施應最大限度地提高可及性，并采取措施改善不平等，確保所有人都能平等地獲得合理分配的服務。

2. 1. 2 透明性原則

《人工智能倫理治理標準化指南》提出透明度指AI的可解釋性、可預測性、可追溯性、可理解性或其他披露行為。提高AI的透明度可以避免“技術黑箱”，英國《人工智能在健康領域的應用》[7]建議應提升AI的可預測性，確保AI是準確可靠且可被重復試驗的，最大限度地減少不可預測的錯誤。中國《人工智能醫療器械注冊審查指導原則》等指南建議定期披露和開源，公開數據處理等相關信息，強制披露風險活動。WHO、歐盟、英國、韓國、新西蘭一些指南認為AI系統及其決策應以適合利益相關方的方式進行解釋，提出規范數據集、算法、源代碼、風險管理等要素，記錄操作數據、算法參數、決策邏輯，以方便進行審計和追溯，支撐AI的自身透明度[8]。

2. 1. 3 不傷害原則

不傷害原則指應預防和消除非惡意的意外傷害，確保人類、環境和生態系統的安全[9]。英國、日本、歐盟在不傷害原則的解釋上達成共識，將傷害解釋為偏見和歧視、隱私泄露或身體傷害[10]。中國、美國、日本、新西蘭、澳大利亞針對不同應用場景提出需要避免特定的風險或潛在危害，《新一代人工智能治理原則——發展負責任的人工智能》提出在設計階段從隱私性、穩定性、可控性、完整性、非顛覆性等原則出發預防傷害，完成風險識別到風險評估進行全流程管理，進行算法安全評估、個人信息隱私評估、風險評估，最后給出風險控制措施。

2. 1. 4 隱私保護原則

隱私保護原則是指保護個人隱私數據，確保AI系統在處理和使用個人數據時遵守隱私法規并采取適當的安全措施。保護隱私具有維護人格尊嚴、提高個人安全感和保護個人權利等作用[11]。中國、英國、美國、日本和歐盟的法規中特別提到隱私通常與數據保護和數據安全有關。歐盟在《人工智能法案》倫理指南中，提出隱私保護設計，將隱私嵌入設計中默認保護原則，避免AI對數據做出不合法的處理，規范化收集和處理隱私數據，為用戶隱私提供全過程保護。

2. 1. 5 負責任原則

負責任原則指要明確AI系統設計和使用者的責任，確保他們對AI系統的行為負責，并承擔可能帶來的不良后果[12]。中、英、美三國建議在AI應用中，厘清對利益相關者的責任和法律責任歸屬，并且可追責。各指南對可問責性的具體涵義有所側重，英國、韓國、加拿大、歐盟極為重視建立審查與監管機構，建議明確AI相關方的義務和職責，并評估AI對人類權利的影響[13]，另外有人集中關注可能導致潛在傷害的潛在原因和過程，新西蘭皇家學會發布的倫理指南還強調了對AI自動決策進行糾正和補救措施[14]。

2. 1. 6 自由自主原則

阿西洛馬人工智能原則的自由自主原則要求使用AI不應破壞人類的自主性[15]。中國、美國、英國、歐盟及世界衛生組織指南中提到自由自主原則包含：個人隱私保護、自主選擇權、知情同意權、自治[16]。歐盟發布的《機器人研究倫理指南》[17]指出個體有權自主掌控醫療決策過程，自主選擇AI介入的程度，不得限制人類自由。患者有權自主選擇遠離技術實驗、操縱或監視等限制自由的操作。在使用AI技術時，有權知曉自己的醫療數據被用于何種目的，通過數據保護法律框架獲得有效的知情同意，確保個人隱私得到保護。

2. 1. 7 以人為本原則

中國、英國、美國和歐盟將以人為本的原則闡述為包括保護人類尊嚴、遵循人類共同價值觀、促進人類福祉[18]。尊嚴以社會關系為特征，保留人類的選擇權利以避免造成人機交互、濫用誤用、喪失決策權等傷害。美國《人工智能未來法案》等指南認為醫療AI開發者應確保其滿足對安全性、準確性和有效性的監管要求，以健康需求為核心，結合醫療AI倫理立法和治理指導原則，持續進行實踐過程中的質控和改進策略，以保護人類福祉，尊重人類共同價值觀。

2. 2 風險評估

本研究從30篇醫療AI倫理指南中找出3個具有代表性的風險評估方法，并從風險分類、風險分級標準、風險評估流程3個層面進行梳理分析，詳見表3。3個風險評估分別是：2018年歐盟發布《人工智能法案》提出“基于風險的人工智能治理框架”、2023年中國發布《人工智能倫理治理標準化指南》提出“倫理風險分級表”、2023年美國發布《人工智能風險管理框架》提出“AI風險框架”。

2. 2. 1 風險分類

近年來，中國經濟發展迅速，對醫療AI的投入和需求也在不斷增加，在風險治理上更加注重技術應用風險。中國從AI算法、數據、系統等層面將風險分為三類：原生型（技術型）、衍生型（應用型）、共生型（技術應用混合型）。美國的法律體系更加靈活，其更多地鼓勵企業自行制定風險管理策略，強調AI倫理對國家競爭力的作用。美國將潛在風險分為三類：對人類的危害，如對社群的歧視危害；對組織的危害，如對組織聲譽的損害；對生態系統的危害，如對相關聯的個體和資源的危害。歐盟將風險分為四類：與價值觀相矛盾的AI工具，如潛意識操縱造成身體或心理傷害；高風險的AI工具，如危害健康和安全風險或對基本權利有不利影響AI；存在透明度風險的人工智能工具，如與個人互動、暴露情感或生物識別的系統；最小風險的AI工具，其沒有強制性義務，并建立了風險管理流程，該流程采取立法形式，具有強制執行力。

2. 2. 2 風險分級標準

中國將風險分為5級：E4-禁止類系統，指背離倫理原則、違反法律要求的AI；E3-倫理高風險系統，指直接關系最終產品安全、個人權益、市場公平、公共安全和生態安全的AI；E2-倫理中風險系統，指對上述描述具有間接或潛在重要影響的AI；E1-倫理低風險系統，指對上述描述不具備明顯影響的AI；E0-倫理無風險系統，不包含機器學習算法、不具備AI功能的AI系統。美國更加側重數據安全的規范和使用，將醫療AI倫理風險分為3級：低風險，需要采取一定的風險管理措施；中風險，需要采取適當的風險管理措施；高風險，可能對個人隱私、公平性、透明度等方面造成嚴重影響，需要采取特別嚴格的風險管理措施。歐盟多元文化背景促使強調多方參與和共同治理，在風險監管方面的表現優于其他國家和國際組織，這得益于其全面而細致的法律體系和實施策略。歐盟將醫療領域受管制的AI直接劃分為高風險，將風險分為了4個等級：①不可接受的風險，即被認為對人們的安全、生計和權利有明顯威脅的AI系統；②高風險，即受管制的某些AI應用被視為高風險（例如醫療裝置、機械），需接受第三方評估；③有限風險，合規但存在風險情形的AI，法案對其設定了透明度義務；④極小風險，歐盟提倡制定旨在促進對低風險AI系統自愿應用要求的行為準則。

2. 2. 3 風險評估流程

中國、美國、歐盟的風險評估流程大致分為三個方面：風險識別、風險分級以及風險策略制定。中國首先使用AI系統倫理風險評估模板來識別風險，并對其進行分類，結合公平性、透明度、安全性等影響程度對整體風險程度進行分級，根據風險分級結果對不同階段的治理目標和治理要求進行風險管理。美國的風險評估框架包含四個核心功能：治理、映射、衡量和管理。預先識別和管理系統可能帶來的風險，并基準化AI風險等級及其相關影響，確定特定場景與其對應的AI風險解決方案，根據結果進行風險處置。歐盟首先建立和維持風險管理系統，收集、記錄和分析AI系統在整個生命周期的相關數據，識別已知和可預見的風險并進行分類分級，針對各個等級采取差異化的監管措施，實現精準監管。

3 研究討論與展望

3. 1 加強醫療人工智能政策制度建設

基于風險評估的政策法規來開展風險管理已經迫在眉睫，但國際多樣化的文化、價值觀、社會需求可能導致其在人工智能倫理治理路線上取向不同。在借鑒國際經驗基礎上，積極制定適用于中國國情的醫療人工智能相關的標準和規范。在政策制定時應遵循公正原則、隱私保護原則、透明原則、不傷害原則、自主性原則等倫理準則[11]，明確規定醫療人工智能的使用范圍、責任分配和監管機制等。針對醫療AI的安全性問題應建立醫療AI應用全過程地建立相應的審查和監管機制，監管機構對醫療AI系統的設計和使用進行審查和監督，部署好醫療AI應用的事前審批、事中監測與事后監督工作。此外，亟須健全數據隱私和安全保護制度，確保醫療AI在處理個人醫療數據時遵守相關法規和準則，保護患者的隱私權和信息安全。由于不同國家經濟發展水平、文化背景有著明顯差異，需要積極參與國際合作，共同制定醫療AI的國際標準和規范，深度參與全球醫療AI風險治理中，進一步使中國在醫療AI國際競爭中掌握話語權。

3. 2 繼續完善醫療人工智能倫理風險評估機制

前瞻性地開展倫理風險評估對風險治理尤為重要。應建立多方參與的評估機制，包括醫學專家、人工智能專家、法律專家、倫理專家等利益相關方，共同參與制定倫理風險評估標準，構建多維度的風險評估指標，以確保評估過程的公正性和全面性。具體舉措如下：①建立風險評估的框架：包括識別潛在的風險、評估風險的嚴重性、確定風險的可接受性等；②開發倫理評估工具：用于評估醫療人工智能系統的倫理風險，包括風險矩陣等方法；③制定詳細的風險評估流程：包括確定評估的對象和范圍、醫療AI的風險識別、對風險進行定量和定性分析、制定風險管控措施、反饋等；④持續監測和更新評估機制：及時發現和應對新的風險，不斷更新和完善風險評估框架，保持評估機制的有效性和適應性，以標本兼治推進評估工作。

3. 3 研究局限性與未來展望

本研究首先界定了醫療AI風險治理的基本概念，分析醫療AI風險治理發展現狀，比較研究了國內外風險治理的政策法規、倫理準則和風險評估方法，但是限于文獻檢索的局限性，可能并未完全檢索全相關政策文件。未來，團隊將會繼續完善檢索與分析相關政策文件，并探討醫療AI倫理風險因素，圍繞應對AI倫理問題的基本原則探索倫理風險識別機制，包括安全性、透明度、隱私保護、公正性、可解釋性等方面。同時，倫理風險評估是減少AI風險事件的重要工具，國際上尚缺乏針對性的醫療AI倫理風險預警模型，基于此研究未來會進一步探索建立可量化的醫療AI倫理風險預警機制，構建出醫療AI倫理風險預警模型，以提高醫療質量水平，逐步實現與國際接軌。

4 結語

本文通過對10個國家和國際組織發布的30個醫療AI倫理風險治理政策法規深入分析，揭示了當前醫療AI領域面臨的復雜倫理挑戰及其治理現狀。本文分析所得的透明度、公平公正、不傷害、隱私保護、自由自主、負責任、以人為本正是國際公認的7種倫理原則，這些倫理原則為各國制定醫療AI倫理規范提供了重要參考。然而，在具體實踐中，不同國家和地區在風險識別、風險分級及風險評估流程上仍存在顯著差異。對中國而言，應積極借鑒國際先進經驗，結合本國國情構建一套完善的醫療AI倫理風險治理體系，包括制定明確的倫理準則，建立風險評估機制和工具，推動技術創新與倫理規范的深度融合。同時應積極參與國際合作，共同建立倫理規范與風險治理路徑，構建安全、可信、高效的醫療AI生態系統。

〔參考文獻〕

[1]葛海濤，安虹璇. 中國科技倫理治理體系建設進展[J]. 科技導報， 2022， 40（18）： 21-30. GE H T， AN H X.Progress in the Construction of China’s science and technology ethics gover‐nance system [J]. Technology Review， 2022，40 （18）： 21-30.

[2]中共中央辦公廳，國務院辦公廳.關于加強科技倫理治理的意見[EB/OL].（2022-03-20）[2024-09-10]. http：//www. scio. gov. cn/zdgz/jj/202309/ t20230914_769 407.html.

[3]YASSER I A， JOEL S S， RIDWAN S，et al. Eth‐ics of Artificial Intelligence in medicine and ophthal‐mology[J]. Asia-Pacific journal of ophthalmology（Philadelphia， Pa.）， 2021， 10 （3）： 289-298.

[4]MARSCH L A. Digital health data-driven ap‐proaches to understand human behavior[J]. Neu‐ropsychopharmacology， 2021， 46（1）： 191-196.

[5]SMUHA N A. The EU approach to ethics guide‐lines for trustworthy artificial intelligence[J]. Computer Law Review International， 2019， 20（4）： 97-106.

[6]KESKINBORA K H. Medical ethics consider‐ations on artificial intelligence[J]. Journal of Clinical Neuroscience， 2019， 64： 277-282.

[7]LEE D H， YOON S N. Application of artificial intelligence-based technologies in the healthcare industry： opportunities and challenges[J]. Inter‐national Journal of Environmental Research and Public Health， 2021， 18（1）： 271.

[8]DANESHJOU R， SMITH M P， SUN M D， et al. Lack of transparency and potential bias in arti‐ficial intelligence data sets and algorithms： a scop‐ing review[J]. JAMA Dermatology， 2021， 157（11）： 1362-1369.

[9]CACCIAMANI G E， CHEN A， GILL I S， et al. Artificial intelligence and urology： ethical con‐siderations for urologists and patients[J]. Nature Reviews Urology， 2024， 21（1）： 50-59.

[10]BERBERICH N， NISHIDA T， SUZUKI S. Har‐monizing artificial intelligence for social good[J]. Philosophy and Technology， 2020， 33： 613-638.

[11]COHEN I G. Informed consent and medical artifi‐cial intelligence： what to tell the patient？[J]. The Georgetown Law Journal， 2019， 108： 1425.

[12]ZHANG J， ZHANG Z. Ethics and governance of trustworthy medical artificial intelligence[J]. BMC Medical Informatics and Decision Making，2023， 23（1）： 7.

[13]VALLèS-PERIS N， DOMèNECH M. Caring in the in-between： a proposal to introduce respon‐sible AI and robotics to healthcare[J]. AI and So‐ciety， 2023， 38（4）： 1685-1695.

[14]LEIMANIS A， PALKOVA K. Ethical guidelines for artificial intelligence in healthcare from the sus‐tainable development perspective[J]. European Jour‐nal of Sustainable Development， 2021， 10（1）：90-90.

[15]BURUK B， EKMEKCI P E， ARDA B. A critical perspective on guidelines for responsible and trust‐worthy artificial intelligence[J]. Medicine， Health Care and Philosophy， 2020， 23（3）： 387-399.

[16]O’SULLIVAN S， NEVEJANS N， ALLEN C，et al. Legal， regulatory， and ethical frameworks for development of standards in artificial intelligence（AI） and autonomous robotic surgery[J]. The inter‐national journal of medical robotics and computer as‐sisted surgery， 2019， 15（1）： e1968.

[17]BERTOLINI A， AIELLO G. Robot compan‐ions： a legal and ethical analysis[J]. The Infor‐mation Society， 2018， 34（3）： 130-140.

[18]WALZ A， FIRTH-BUTTERFIELD K. Imple‐menting ethics into artificial intelligence： a contri‐bution， from a legal perspective， to the develop‐ment of an AI governance regime[J]. Duke Law and Technology Review， 2019， 18： 176.