智能診療領域的算法倫理與算法治理研究*

侯 瀅，史勵柯，侯建平，李亞軍**

(1 陜西中醫藥大學人文管理學院，陜西 西安 712046，30783077@qq.com;2 蒙特克萊爾州立大學，新澤西 07003)

人類正在逐漸步入算法為核心的智能治理時代，無處不在的算法將催生出以人工智能為驅動力的新型經濟和社會形式。所謂的“智能”，即由算法底層的簡單規則生成的復雜行為[1]。伴隨機器算法和算力的指數級提升、存儲技術的發展、圖像模式識別技術與人工神經網絡算法的進步，智能診療領域將形成海量存儲的大數據，通過機器學習、表征學習、深度學習和自然語言處理等技術，利用算法模型協助人類醫生制定臨床診療決策，助力智能診斷、臨床決策、精準治療等智能診療服務的發展[2]。但是，一項新技術的發展應用離不開倫理原則的價值引導，人工智能涉及的倫理問題中，算法倫理居于基礎地位。智能診療領域的發展關乎民生，其涉及的算法倫理問題就更值得探討。

1 算法在智能診療場景中的應用

數字化和信息化的變革大大提升了醫療效率。知識驅動和數據密集的智能診療領域，依賴深度的機器學習算法，能夠通過強大的臨床數據整合與學習能力，使計算機深度學習海量醫療知識，模擬醫生思維和診斷推理，輔助醫生診療并提供可靠的診斷和治療方案[3]。以IBM的Watson個性化腫瘤治療助手為例[4]，它能夠通過智能診療系統輔助腫瘤科醫生進行患者的個性化診療。Waston系統可以運用自然語言理解技術，讓系統讀取千萬份的書籍、期刊、文獻等資料，應用自然語言從研究素材中抽取疾病癥狀、診斷治療方案等信息，構成復雜的知識圖譜。整套輔助診療方案的輸出源于智能算法下的認知計算系統，分析患者癥狀和就醫記錄，結合患者病理數據和后臺的知識圖譜，從全世界醫療文獻中篩選信息并進行復雜的推理，匹配與患者病情相關度最大的病例，輸出智能化、個性化、對癥的治療方案并進行優劣排布，按推薦方案、可選方案、不建議方案依次排列形成治療方案供醫生決策，整個輔助診療過程能夠在十秒鐘之內完成[5]，極大地提高了診療效率。

此外，智能算法在輔助醫療影像識別方面也優勢明顯。它能夠通過人工智能技術對常用醫療影像學技術掃描圖像和手術視頻等進行深度分析處理，運用圖像識別的感知環節對影像進行分析，對海量影像和診斷數據進行神經元網絡深度學習訓練，輔助醫生進行疾病診斷和治療。在現階段的應用場景中，美國企業Enlitic就將深度學習算法模型應用于惡性腫瘤檢測中，該公司開發的AI系統在針對癌癥檢測的準確率曾超越四位頂級放射科醫生的診斷。甚至，該系統還曾診斷出人類醫生無法診斷出的7%的癌癥[6]。與人類醫生的診斷不同，智能算法模型具備在不同終端上傳輸無差別“診斷經驗”的能力，只要算法模型一致，診斷路徑就是一致的。因此，伴隨智能影像識別系統診斷水平的提升和實用性的普及，有望實現不同診斷條件下診斷結果的標準化和優質化，這將極大地節省醫院相關科室的人力成本，提升影像診斷和病理診斷的質量和效率。

伴隨著算法的不斷突破和硬件設備的不斷更新，人工智能技術在醫療診斷領域的優勢逐步呈現。醫療領域長期存在資源不足和分配不均的問題，通過人工智能系統輔助診斷決策，能夠極大地提高診斷準確率和診療效率。而在智能診斷的構成要素中，核心算法決定了智能系統以何種方式從海量醫療數據中自動分析獲得規律，如何利用規律對未知數據進行預測，進而影響診療決策方案的提出。然而，沒有算法是完美的。智能時代的算法衍生出的數字化醫療領域的革新，在大幅度提升診療效率的同時，也必然會存在倫理和風險問題。對相關問題的探討與思考，將會影響我們是否能夠更好地擁抱這一新興科技。

2 智能診療領域涉及的算法倫理風險

任何新科技的發展都需要來自倫理層面的規制，智能算法在診療領域的應用也不例外。它能夠實現高效的數據計算和精準的決策分析，在一定程度上解決當前醫療領域的痛點。伴隨智能算法在輔助診療決策方面的成熟，它涉及的算法倫理風險也越來越值得關注。

2.1 算法歧視問題

技術有價值屬性，算法也有價值表達。臨床醫療數據的來源和算法開發設計人員的價值觀也會影響算法的價值主張。一旦算法模型選取的訓練數據集輸出的平均值與真實模型的輸出值之間存在差異，就會形成算法歧視[7]。醫療數據的來源和選取極其重要，數據的不當輸入可能引起算法歧視。如果原始數據存在缺乏代表性、潛在偏差、數據質量和準確性等問題，算法執行過程就很難客觀反映現實，輸出的決策結果也極有可能帶有偏見。在一些罕見病或新疾病的診療中，就曾出現過因醫療數據閾值過窄，導致算法輸出無效或出現錯誤的診療方案[8]。

但是，算法并非價值中立，也可能帶有人為歧視。開發設計者的價值觀、偏好和利益導向都可能造成因年齡、性別、種族、地區等特征產生的不公平現象，最終影響診斷決策的客觀性。不僅如此，算法也會產生習得性歧視。機器算法會在自我學習、適應和改進算法的過程中，從交互中習得人類社會既有的歧視。算法歧視可能造成智能診療應用各場景中的不平等現象，對被歧視個體和整個社會而言，都存在多重不利影響。

2.2 算法黑箱問題

智能診療領域基于神經網絡的深度學習，將抓取的數據分為數以千萬計的變量，進行自動加權計算，基于智能決策算法輸出結果。由于涉及仿生學基礎的數學模型和極其復雜的計算過程，用戶并不清楚算法的目標和意圖，也無從獲悉算法設計者、實際控制者以及機器生成內容的責任歸屬等信息。甚至，算法模型中有時還存在一些超參數，這些超參數如何影響決策結果，大多數時候我們不得而知。在涉及人工智能輔助診療決策時，形成的算法黑箱問題就會引發更多憂慮和質疑。

現階段，算法黑箱可以說是人工智能技術的一種缺陷。比如IBM Watson系統，它的診療方案是通過抓取海量文獻和臨床數據，通過算法分析得出輔助決策。但如何選取文獻的抓取，抓取不同的文獻對輸出的診療方案有何影響，醫療專業人士尚不能清晰了解[9]。那么，在相對復雜的診療輔助決策中，算法黑箱問題就會成為監管難點。

2.3 算法歸責問題

伴隨近年來醫患矛盾的不斷加劇，智能診療涉及的算法歸責問題也將產生深遠的社會影響。在我國，傳統醫療領域一直奉行醫療損害責任。當醫療機構及醫務人員在醫療過程中因過失造成患者人身損害時，應承擔以損害賠償為主要方式的侵權責任。在算法輔助診療決策的場景中，如果因為算法缺陷使醫生在病情檢驗和診斷，或診療方案的選擇中做出錯誤判斷，對患者造成一定傷害時，人工智能系統卻無法對自己的決策負責。此外，實際應用場景中還有可能涉及責任主體多元、損害原因各異、責任份額不同等問題，一旦因算法問題造成醫療事故，就可能因為責任錯綜復雜而使算法歸責難度增加。

2.4 算法安全問題

智能診療應用的深度學習神經網絡算法多為動態學習算法，如果存在算法缺陷，極有可能造成診斷失誤，損害人類健康，甚至剝奪人類生命。因為這些算法會模擬人腦的神經網絡，設置層層輸入、層層輸出的數據連接，運用海量數據進行運算分析，并輸出決策結果。一旦算法出現錯誤，輸出結果將會導致更大的錯誤。IBM Watson系統就曾因運用錯誤的數據集訓練，被醫學專家發現推薦了不安全的治療建議。相比臨床醫生可能出現的某次誤診，算法的安全缺陷可能會危及更多患者[10]。因此，采用成熟可靠的算法模型，保障人類的生命健康，應是智能醫療決策系統的首要要求。

此外，算法漏洞也可能被心懷不軌的人惡意操縱或被黑客攻擊，若數據庫或算法模型被篡改，將極大影響決策結果。那么，算法模型就不再可靠，也不再值得被信賴。因此，算法安全問題能否被有效解決，關系著智能診療決策系統能否被大規模廣泛采用。

3 探索智能診療領域的算法治理路徑

智能診療領域的算法治理是一項長期復雜的工程，需要算法的設計者、開發者、使用者、立法者、監管者等相關主體協同構筑良性的技術運作生態。現階段，關于算法倫理與治理的研究尚不成熟，亟待一個可行的思考框架，而本文正是一種對可行算法治理路徑的嘗試探索。

3.1 探尋算法模型的可解釋性

算法治理領域長久以來都在提倡人工智能算法決策的可解釋性。算法的可解釋性是指對算法模型內部機制和對算法模型結果的理解[11]。機器學習模型的可解釋性越高，人們就越容易理解它為什么作出某些決定或預測。因此，業界普遍提倡在建模階段輔助開發人員理解模型，進行模型的對比選擇，必要時優化調整模型；在投入運行階段，向業務方解釋模型的內部機制，對模型結果進行解釋。醫療領域對算法模型的可信度要求極高，因為算法模型的結果通常會直接決定患者的生死與健康，所以即使機器學習模型在區分惡性腫瘤和不同類型的良性腫瘤方面的準確性很高，我們依然需要專家來解釋機器學習模型是如何決策的，這樣才能幫助醫生信任和使用機器學習模型來支持他們工作。

算法模型具有可解釋的關鍵是透明度、質疑能力和人類理解模型決策的難易程度。我們需要了解，是什么驅動了模型的預測？為什么模型會作出某個決定？我們如何信任模型預測？若能夠了解模型輸入變量如何工作，模型的預測如何根據輸入變量的值而變化，使用者就能提升對算法模型的評估信任。換言之，如果醫生不信任算法模型或預測，他們就不會使用它。因此，在比較模型時，除了模型性能，如果模型的決策比其他模型的決策更容易理解，那么模型被認為比其他模型具有更好的可解釋性。

當然，解釋模型如何對業務起作用，確實在技術上具有一定難度，有時需要在算法模型性能和算法黑箱問題上做出妥協和平衡。比如，若應用簡單的線性模型或基于樹的模型，雖然很容易解釋模型為什么根據預測作出決策，但可能需要犧牲模型性能。由于線性模型的高偏差和高方差等固有問題，集合模型和深度學習模型系列通常會產生更好的性能，但此類模型通常被認為是算法黑箱模型，很難解釋模型如何作出決定。

3.2 明確算法決策的歸責機制

智能診斷決策場景中，誰最終對算法提供的診斷決策負責，誰來承擔診斷過錯，是一個廣為爭議的問題。我們探尋這一領域的歸責問題，應保障責任承擔的公平性與科學性，在遵循我國現有的醫療侵權行為法律制度的同時，結合智能診療系統造成損害的原因與場景歸責。由于診療過失的問題中，往往存在“多因一果”的情況，建議運用原因力規則判斷不同責任主體所應負擔的責任份額，分別對診斷責任主體和治療責任主體歸責，在責任承擔中充分考慮原因力的比例和過錯的大小。

此外，建立智能算法責任機制，應明確算法涉及的不同主體角色的職責。第一，應逐步建設人工智能產品標準，使開發者明確其開發產品所使用的算法需要滿足保障人體健康和人身、財產安全的國家標準或行業標準，避免出現因算法缺陷而導致的缺陷產品，加強行業安全規范。第二，智能診斷系統應在算法運行之時，持續對決策系統進行記錄、評估和反饋，便于追溯算法決策的責任主體。第三，建議探索第三方智能算法責任保險，由于可能存在既無法歸責使用者、也不宜歸責開發者的診斷過錯，這樣可以及時為受損害的患者提供救濟，分擔開發者和使用者風險，保障行業健康發展。

3.3 構筑算法倫理的價值嵌入

智能算法在各領域的應用，不僅僅是科技創新，也可能是一場影響深遠的社會倫理試驗。人工智能有望實現可計算的感知、認知和行為，在功能上模擬人的智能和行為，使機器具有一種準人格或擬主體的特性，因此，人工智能涉及的倫理問題備受關注[12]。我們應考慮構筑一個可執行的算法倫理機制，通過算法給智能機器嵌入人類的價值觀和規范，讓他們具有和人類一樣的倫理道德。在算法中遵循道德規范的“善”，使智能決策系統具有功能性道德，將人類所倡導或可接受的倫理理論和規范轉換為可規范的倫理算法和操作規程，用負載價值內涵的道德代碼為智能決策系統編寫倫理算法。醫療健康領域的智能決策系統應當將倫理價值嵌入在算法設計與開發中，并能夠對系統作出的決策進行倫理層面的評估，避免出現倫理沖突。

此外，我們仍然無法忽略人的主觀價值導向對算法模型的影響。算法決策程序滲透著研發者的道德素養，因此，規范倫理教育、增進算法設計者和開發者的倫理自覺，確保每位技術專家得到教育、培訓和賦權，并在自主和智能系統的設計和開發中優先考慮倫理問題。

3.4 建立決策可信的算法審查和監管機制

算法是人工智能自主決策的關鍵，既然人類將決策權讓渡給算法，為保證決策可信，必須構筑算法的審查機制。《新一代人工智能發展規劃》指出需要實現智能算法設計、研發和應用等全流程的監管和審核，建立健全公開的智能技術審查體系，建設應用監督和設計歸責并行的監管結構[13]。

智能診療領域的算法審查與監督機制，基礎在于對醫療數據的規范，包括數據收集、數據挖掘、數據運算和數據使用的規制。算法設計者首先應該對訓練數據的來源及可靠性加以說明；其次要監控算法的運行狀態和運行結果。算法設計機構還應記錄模型、算法、數據和具體決策，以便在解決出現的問題或依法監管時有據可查。對錯誤決策也可以進行調查并予以糾正。算法應用機構應采取可靠的技術手段對其算法的程序進行驗證，盡量減少潛在的風險及危害。同時，審查和監管都需要依靠行政力量和法律手段，可考慮建立專門的算法監管機構，對智能診療決策體系涉及的算法進行風險評估、調查算法系統涉嫌侵權等情況、為其他監管機構提供關于算法系統的建議。算法的審查和監管機制應當涉及多部門協作，構建一個確切原則、標準和價值的體系，推動算法的決策可信。

4 結語

人工智能賦能診療領域應用前景廣闊，能夠有效滿足人們日益增長的健康需求，也必然會帶來巨大的行業變革。算法是人工智能落地醫療健康領域的基石，面對它所帶來的倫理風險，有必要采取預防性的治理措施。本文僅僅是對智能診療領域的算法倫理和治理問題的簡要分析，算法治理實現會伴隨技術進步逐步落實，當然也需要依賴各相關領域協同治理。對該領域問題的持續探討，有利于在提升算法倫理約束和完善治理策略方面作出積極推動，建立智能診療領域的算法治理信任。