算法診斷錯誤與醫療責任

內容摘要：對于輔助診斷決策系統，當智能設備做出錯誤評估導致損害時，會引發新的責任歸屬問題。在驗證了算法處方（Le prescrizioni algoritmiche）作為指南或最佳實踐的價值后，我們需要反思知情同意的角色，并根據《意大利民法典》第2236條評估醫生的參與度。《人工智能責任指令（提案）》提供了一種替代方法，即通過相對推定（Le presunzioni relative），在為患者提供有效保護的前提下不過分懲罰專業人員。

關鍵詞：臨床決策支持系統；醫療責任；相對推定；《人工智能責任指令（提案）》

中圖分類號：D913 文獻標識碼：A 文章編號：2095-7076（2024）04-0154-13

DOI：10.19563/j.cnki.sdfx.2024.04.013

一、引言

在受第四次工業革命影響最大的行業中，醫療保健行業近年的發展尤為重要且總體呈現積極態勢，①①參見以下文獻：Faccioli （a cura di）， Profili Giuridici dell’Utilizzo della Robotica e dell’Intelligenza Artificiale in Medicina， Napoli 2022; D’Adda， Danni 《da Robot》 （Specie in Ambito Sanitario） e Pluralità di Responsabili tra Sistema della Responsabilità Civile ed Iniziative di Diritto Europeo， in questa Rivista， 2022， p. 805 ss.; Di Rosa， I Robot Medici， in Salanitro （a cura di）， SMART. La Persona e l’Infosfera， Pisa 2022， p. 115 ss.; Votano， Intelligenza Artificiale in Ambito Sanitario： il Problema della Responsabilità Civile， in Danno e resp.， 2022， p. 669 ss.; Colaruotolo， Intelligenza Artificiale e Responsabilità Medica： Movità， Continuità e Criticità， in Resp. med.， 2022， p. 299 ss.; Ruffolo， L’Intelligenza Artificiale in Sanità： Dispositivi Medici， Responsabilità e “Potenziamento”， in Gabrielli - Ruffolo （a cura di）， La Responsabilità Medica， in G. it.， 202， p. 502 ss.; Colletti， Intelligenza Artificiale e Attività Sanitaria. Profili Giuridici Dell’Utilizzo della Robotica in Medicina， in R. d. econ. tras. e amb.， 2021， p. 201 ss.; Marchese， Principi Civilistici dell’Information Technology in mbito Sanitario， Napoli 2021; Pasceri， Intelligenza Artificiale， Algoritmo e Machine Learning. La Responsabilità dell’Amministrazione Sanitaria e del Medico， Milano 2021; Fiorentini， Machine Learning e Dispositivi Medici： Riflessioni in Materia di Responsabilità Civile， in Corr. giur.， 2021， p. 1258 ss.; C. Perlingieri， Responsabilità Civile e Robotica Medica， in Tecn. e d.， 2020， p. 161 ss.; Lagioia， L’Intelligenza Artificiale in Sanità： un’Analisi Giuridica， Torino 2020; Ciancimino， Protezione e Controllo dei Dati in mbito Sanitario e Intelligenza Artificiale. I Dati Relativi alla Salute tra Novità Normative e Innovazioni Tecnologiche， Napoli 2020; Giusti， Intelligenza Artificiale e Sistema Sanitario， in D. e Salute， 2019， p. 1 ss.; Di Gregorio， Robotica e Intelligenza Artificiale： Profili di r.c. in Campo Sanitario， in Resp. Med.， 2019， p. 433 ss.; Bottari， Profili Innovativi del Sistema Sanitario， Torino 2018; Passarelli， Responsabilità Civile e Dispositivi Medici Difettosi， in Rass. d. civ.， 2018， p. 559 ss.這在很大程度上得益于“臨床決策支持系統”（CDSS）使用的不斷增長。①①Sikma - Edelenbosch - Verhoef， The Use of AI in Healthcare： A Focus on Clinical Decision Support Systems， RECIPES project， European Commission， aprile 2020; Montani - Striani， Artificial Intelligence in Clinical Decision Support： a Focused Literature Survey， in Yearb. Med. Inform.， 2019， 28， 1， p. 120 ss.; Miller， Medical Diagnostic Decision Support Systems — Past， Present， and Future： A Threaded Bibliography and Commentary， in J. Am. Med. Inform. Assoc.， 1994， 1， pp. 8-27.臨床決策支持系統歷史上一直是人工智能的主要應用領域之一：早在20世紀70年代，盡管主要用于學術研究目的，就已經出現了旨在支持醫生進行診斷和治療決策的模型。②②Shortliffe - Buchanan， A model of Inexact Reasoning in Medicine， in Math. Biosci.， 1975， 23， 3-4， p. 379.然而，直到最近，由于與電子病歷及計算機化的工作流程的集成，這些系統才達到了可用的精度和速度，從而真正實現了醫療模式的變革。盡管在大多數情況下，這些系統并沒有集成到醫療設備中，而是像任何其他應用程序一樣被使用。③③最知名的臨床決策支持系統可能是IBM公司的“華生醫生”（Dr. Watson）。該系統借助高度發展的云計算技術，能夠執行復雜的病史和診斷操作，制定個性化治療方案。最近的一項新研究將其與泌尿科病房治療中的高準確率進行了比較，參見Yu - Kim - Chung - Hwang - Jung - Kang - Kwon， Early Experience with Watson for Oncology： a Clinical Decision-Support System for Prostate Cancer Treatment Recommendations， in World J. Urol.， 2021， 39， 2， pp. 407-413；而對“華生醫生”在責任層面問題的討論可參見：Lagioia - Contissa， The Strange Case of dr. Watson： Liability Implications of AI Evidence-Based Decision Support Systems in Health Care， in EJLS， 12， 2， November 2020， pp. 245-289；Allain， From Jeopardy！ to Jaundice： The Medical Liability Implications of Dr. Watson and Other Artificial Intelligence Systems， in Louisiana Law Review， 2013， 73， 4， p. 1062.

這一系統可以區分為“基于知識的臨床決策支持系統”和“非基于知識的臨床決策支持系統”。這兩種不同類型的系統因設備的知識庫（即設備中包含規則和數據關聯的組件）而異。第一種設備的知識來源是預先確定的一組規則和信息，這些規則和信息是專門為建議系統而提供或制定的，例如科學界或某一醫學領域的專家所獲得的知識。第二種設備則是利用機器學習（ML）的人工智能形式，使計算機能夠自主從過去的經驗中學習和/或在臨床數據中尋找模式，而無需預先確定一組固定的規則或預先確定要學習的輸入。④④這些系統可以基于神經網絡、遺傳算法、支持向量機、決策樹或任何其他機器學習技術，根據具體情況“學習”識別數據集中的模式。詳細信息參見：G. Miner - L. Miner - Goldstein - Nisbet - Walton - Bolding- Hilbe - Hill， Biomedical Informatics， in Practical Predictive Analytics and Decisioning Systems for Medicine： Informatics Accuracy and Cost-Effectiveness for Healthcare Administration and Delivery Including Medical Research， 2014， Academic Press， p. 42 ss. 一般而言，基于機器學習技術的網絡重點關注與預先定義的知識更緊密相關的癥狀。

臨床決策支持系統可以執行多種任務，包括：提醒異常臨床數值；提醒患者需要進行特定檢測的時機；提醒醫生預約特定治療的必要性；建議修改當前的治療方案；協助解釋心電圖或核磁共振等檢查結果；檢索并提供建議或治療計劃以供參考；幫助生成基于患者數據和情況的報告或統計數據；提供診斷支持等。當作為診斷輔助工具即“診斷決策支持系統”（DDSS）使用時，這些系統旨在快速并準確地向醫生提供一系列可能的診斷假設，以便其作出治療決策，或者選擇是否以及哪些患者需要緊急入院或轉入重癥監護。⑤⑤其中一個最早的診斷系統是用于急性腹痛診斷的程序。早在其最初構思階段，其目標之一就是在緊急情況下幫助醫生區分手術治療和非手術治療，以協助醫生對患者進行分類：De Dombal - Leaper - Horrocks - Staniland - McCann， Human and Computer-Aided Diagnosis of Abdominal Pain： Further Report with Emphasis on Performance of Clinicians， in Br. Med. J.， 1974， 1， pp. 376-380. 更近期的研究見 Razzaki et al.， A Comparative Study of Artificial Intelligence and Human Doctors for the Purpose of Triage and Diagnosis， 2018， in https：//arxiv.org/abs/1806.10698， 該研究中相同的病例分別由人工智能系統和人類醫生進行評估。不知道結果的外部獨立主體隨后考慮了不同診斷和分診的結果（無論是人工智能還是人類醫生提供的），總體研究發現，基于人工智能的分診和診斷系統能夠以與專業人士相媲美的準確性確定患者的狀況。此外，住院建議的可靠性平均而言比醫生更高。最近，由于需要應對COVID-19流行病，盡量避免人際接觸，已經開發了幾種能夠區分需要緊急入院的患者和可以等待普通或計劃入院的患者的應用程序：參見Kim - Choi - Jiao， et al.， An Automated COVID-19 Triage Pipeline Using Artificial Intelligence Based on Chest Radiographs and Clinical Data， in Npj Digit. Med. 5， 5 （2022）; Kapoor - Kapoor - Mahajan， Use of Artificial Intelligence to Triage Patients with Flu-Like Symptoms Using Imaging in Non-COVID-19 Hospitals during COVID-19 Pandemic： An Ongoing 8-Month Experience， in Indian J Radiol Imaging， 2022 Jan 10， 31（4）， p. 901 ss.; Gilbert - Ghuysen， Triage in the Time of COVID-19， in The Lancet Digital Health， vol. 4， 9 marzo 2022.

從這些定義中我們可以看出這種工具的高度新穎性，因為它們能夠執行直到不久前還專屬于人類的活動，即從一系列數據（癥狀、臨床病史、對刺激的反應、醫學檢查等）中判斷初始臨床假設（證明X患有Y病，或反之亦然）的真偽的能力。實際上，與傳統診斷工具通常只能識別疾病的一個或多個特征要素不同的是，這些設備的目的是提供有關疾病的明確而全面的信息，而無需借助醫生綜合評估，并提供治療建議。

盡管取得了這些進展，人們仍然對臨床決策支持系統的使用、對用戶的影響以及結果的準確性持保留意見。不乏有研究警告稱，使用這些系統可能會對醫生和患者產生負作用。對于醫生來說，這可能表現為：（a）喪失醫學知識的人文內涵；（b）過度依賴設備提供的診斷；（c）喪失了在沒有設備建議的情況下進行病史分析的能力。對于患者而言，在發現（和處理）病癥時會產生恐懼和焦慮。①①很多人都會出現這種情況。參見：Sutton - Pincock - Baumgart - Sadowski - Fedorak - Kroeker， An Overview of Clinical Decision Support Systems： Benefits， Risks， and Strategies for Success， in Npj Digital Medicine， 2020， 3， p. 17; Wasylewicz - Scheepers - Hoeks， Clinical Decision Support Systems， in Kubben et al. （a cura di）， Fundamentals of Clinical Data Science， Springer 2019， p. 153 ss.; Lysaght et al， AI-Assisted Decision-Making in Healthcare：The Application of an Ethics Framework for Big Data in Health and Research， in Asian Bioethics Review， 2019， 11， pp. 299-314.

除了倫理沖突和道德影響外，這些工具還引發了法律問題，涉及醫生自主權、對自動決策程序固有保障的尊重，以及在發生損害時的責任歸屬問題。我們已經在其他地方討論了與醫學自動決策程序有關的限制和保障問題。②②Grasso， GDPR e Intelligenza Artificiale： Limiti al Processo Decisionale Automatico in Sanità， in SMART. La Persona e l’Infosfera， cit.， p. 187 ss.在本研究中，我們旨在探討醫生遵循算法建議所引發的責任后果，尤其是在智能設備進行錯誤評估并導致損害的情況下。事實上，盡管在大多數情況下，人工智能系統被證明是一種有效的輔助工具，但不能忽視的是，即使是一個完美的算法，其在統計上做出的決策在個案上也可能是錯誤的。③③Tommasi， Algoritmi e Nuove Forme di Discriminazione： Uno Sguardo al Diritto Europeo， in Revista de Direito Brasileira， v. 27， n. 10， Set./Dez. 2020， p. 112 ss， 特別是第115頁。專門涉及醫療領域的請參見Domenici Guidi， Linee Guida e Colpa Medica： Spunti di Riflessione， in Danno e Resp.， 2014， p. 356 ss.人工智能系統基于統計得出結論，其決策過程仍然基于概率、重復和相似性，因此（至少部分）是以不確定④④參見Mittelstadt - Allo - Taddeo - Wachter - Floridi， The Ethics of Algorithms： Mapping the Debate， in Big Data amp; Society， December 2016; 另請參閱Gini， I Pericoli della Statistica， Discorso Inaugurale alla Prima Riunione Scientifica della Società Italiana di Statistica（1939年10月9日，比薩），刊登于“Atti della I Riunione Scientifica della S. I. S”，羅馬，1939年；2001年再版，收錄于題為“Statistica e induzione”的專著中，作為第61卷第1號的補充材料， pp. 27-70。的知識為基礎，這種知識在整體上比在局部上更可靠，臨床決策支持系統也不例外。⑤⑤V. Cabitza - Alderighi - Rasoini - Gensini， Potenziali Conseguenze Inattese dell’Uso di Sistemi di Intelligenza Artificiale Oracolari in Medicina， in Recenti Prog. Med.， 2017， p. 108， 397 ss; 參見前引Sikma - Edelenbosch - Verhoef的文獻第19頁。

二、醫學預測分析、關聯算法和低效場景

醫學預測分析基于預估患者未來疾病或健康狀況風險的模型，算法為那些與特定指數關聯的患者做出更高的風險評估，這些指數大概率可能會導致特定不良后果。這種方法使得臨床決策支持系統或診斷決策支持系統在許多醫學領域都能夠達到比專家更高的準確度，以識別疾病的存在并將其正確歸類。⑥⑥前引Montani - Striani的文獻第120頁及以下; Kunhimangalam - Ovallath - Joseph， A clinical Decision Support System with an Integrated EMR for Diagnosis of Peripheral Neuropathy， in Neuroimaging Clin. N. Am.， 2014， 24， pp. 49-65， 他們開發了一個非常成功的診斷決策支持系統，以應用于周圍神經疾病的診斷，在識別運動、感覺、混合或正常神經疾病方面的準確率比專家高出93%；參見前引Sutton - Pincock - Baumgart - Sadowski - Fedorak - Kroeker的文獻。

然而，即使這些關聯具有很高的準確度，它們也可能因為這種基于近似性和推理性的系統邏輯而顯得不足。盡管在每個事實絕對真或絕對假的情況下，近似性可能是有用的，但醫學領域不能簡化為如此的二元結構。以胸痛為例，這可能是心臟病發作的癥狀，也可能是胃腸功能紊亂的癥狀。在這種情況下，即使在設備的知識庫中此癥狀與心臟病的發作相關聯，面對癥狀、數值和參考的模糊情況（如患者的年齡），系統很可能將不適歸因于胃部問題。這種情況除了顯示醫生個性化檢查（L’esame personalizzato）的重要性之外，也能夠說明近似性本身并不一定準確，在存在可歸因于不同病因的癥狀時則可能會無效（甚至有害）。⑦⑦在這方面的顯著例證參見Alther - Reddy， Clinical Decision Support Systems， in Reddy - Aggarwal （a cura di）， Healthcare Data Analytics， London 2015， p. 646， 以及Jiang - Qiu - Xu - Li， The Research of Clinical Decision Support System Based on Three-Layer Knowledge Base Model， in Journal of Healthcare Engineering， vol. 2017， p. 1 ss.

另一方面，這種推理方法通常足以應對只涉及單一疾病的簡單因果情景，但在應用于鑒別診斷（Diagnosi differenziali）時，即醫生在多種相互競爭或沖突的疾病假設之間做出選擇或排除時，可能會導致次優或危險的診斷。事實上，診斷并不僅僅根據癥狀與疾病之間的關聯，也是一項反事實推理的任務。而基于關聯性的學習算法往往僅限于確定與患者癥狀有更密切聯系的疾病，以及在其所屬的人群中發生頻率更高的疾病。①①有關該主題的研究，請參見Richens - Lee - Johri， Improving the Accuracy of Medical Diagnosis with Causal Machine Learning， in Nat. Commun.， 2020， 11， p. 3923 ss.; Prosperi - Guo - Sperrin et al.， Causal Inference and Counterfactual Prediction in Machine Learning for Actionable Healthcare， in Nat. Mach. Intell.， 2020， 2， pp. 369-375; Papadopoulos et al.， A Systematic Review of Technologies and Standards Used in the Development of Rule-Based Clinical Decision Support Systems， in Health and Technology， 2022， 12， pp. 713-727.

如果我們進一步解釋診斷算法的這種運行方式，至少可以確定以下五種情況，在這些情況下系統的高可靠性可能會被削弱，從而導致具有潛在危害的誤診：

（1）無癥狀或癥狀不典型的患者。在沒有癥狀的情況下，算法無法識別出患者患有某種疾病，即使癥狀存在，如果與該病常見癥狀相比不夠典型，算法往往不會作出正確的診斷。

（2）一般罕見疾病或患者所屬人群罕見疾病。讓我們設想一個出現在70%成年人和30%未成年人身上的疾病，或者一個出現在80%男性和20%女性身上的疾病。在這種情況下，程序將根據這些百分比進行校準，因此，要么輸入70%的成年人數據和30%的未成年人數據，或者基于編程的目的，為算法提供一組主要涉及男性而不是女性的數據。②②除了某種疾病在男性中的發病率高于女性的情況外，歷史上醫學中的規則和分類主要基于男性的身體。然而，研究人員發現在組織、器官，甚至身體細胞中都存在性別差異，在常見疾病的分布、頻率和嚴重程度方面也存在性別差異。因此，有學者對于人工智能系統可能延續甚至加劇現有偏見的風險提出了警告，請參閱Perez， Invisible Women： Exposing Data Bias in a World Designed for Men， London 2019.這樣造成的風險是，在識別疾病時，這些百分比可能導致結果僅僅針對某一特定目標群體，而導致對少數人的偏見，尤其是那些在統計上較少患有這種疾病的人。③③參見Winkler et al.， Association between Surgical Skin Markings in Dermoscopic Images and Diagnostic Performance of a Deep Learning Convolutional Neural Network for Melanoma Recognition， in JAMA Dermatol.， 155， 2019， pp. 1135-1141， 這一文章討論了診斷模型在應用于不同患者群體時的誤診問題。

（3）合并癥或臨床癥狀復雜的患者。診斷算法通常只考慮單一的病癥，然而患者患有多種疾病的情況并不少見，即使只是因基礎疾病而產生的并發癥。④④參見Comito - Falcone - Forestiero， AI-Driven Clinical Decision Support： Enhancing Disease Diagnosis Exploiting Patients Similarity， in IEEE Access， vol. 10， 2022， pp. 6878-6888， 尤其是第6879頁。對于患有多種疾病的患者，算法傾向于診斷為癥狀最明顯的疾病（將任何癥狀導向癥狀更為明顯的疾病），并忽視其他潛伏或處于發病階段但可能更嚴重的疾病。

（4）設備運行的目標環境特點，可能與設計或測試實驗室環境大相徑庭。一方面，這種推理方法沒有考慮到不同地區因歷史、氣候、自然因素或工業設施而造成的疾病發病率差異。⑤⑤如果向算法提供的數據來自某類疾病發病率較低或中等的環境，當在發病率更高的環境中使用時，它可能會系統地降低風險估計。另一方面，周圍環境會影響設備的性能，⑥⑥Panch - Mattie - Celi， The 《Inconvenient Truth》 about AI in Healthcare， in npj Digit. Med.， 2， 2019， p. 77.因此很難預測設備是否能夠充分滿足醫療人員的期望、要求和標準。⑦⑦由于醫療系統的復雜性和不可預測性，在對照研究中計算的這種不確定結果的概率是不可靠的。應收集足夠的數據，對算法進行最佳訓練，使其“適應”當地人口和/或當地的實踐模式，⑧⑧參見前引Sikma - Edelenbosch - Verhoef的文獻第17頁。但這很少被實施，除了因為成本高昂導致大多數醫療機構無法承擔外，它們也缺乏必要工具。⑨⑨參見前引Panch - Mattie - Celi的文獻第77頁。

（5）至于尚未知曉的疾病，由于未包含在設備的知識庫中，設備只能將其診斷為其他更為常見的疾病。

如果說這些風險場景的存在，一方面使人們對那些將決策支持系統視為解決誤診問題的終極方案的觀點持懷疑態度；另一方面，它也不允許回避關于算法建議的價值及遵循算法建議在多大程度上影響醫生責任的問題，由于這種風險場景的低發生率，因此這種推理方法對于最常見的因果關系是足夠（和有效）的。

三、作為醫療指南或最佳護理實踐的算法建議

在考慮醫生選擇是否遵循算法建議以及其對責任的影響之前，我們應該首先在醫學-法律領域評估來自自動診斷支持系統的處方的價值，這盡管屬于立法計劃的范疇，但我認為它在某種程度上已經具有既存法上的價值。試想，如果一名醫生相信自動診斷系統做出的診斷是準確的，并采取相應的治療方法（可能是由同一設備向他建議的①①參見Lyell et al.， BMC Medical Informatics and Decision Making， 2017， 17， pp. 28-42， 該研究發現，當臨床決策支持系統提出的建議正確時，用藥錯誤會減少58.8%，但當算法處方不正確時，用藥錯誤增加了86.6%。這表明算法建議能夠影響醫生的評估。這強烈凸顯了所謂的“自動化偏見”，即認為由計算機做出的決定在某種程度上比人類決定更有效或更準確。），導致病人的病情加重，甚至可能遭受他原本沒有的傷害。為此，有必要（重新）考慮系統據以得出（闡述）其結論的信息來源，回顧“基于知識的臨床決策支持系統”和“非基于知識的臨床決策支持系統”之間的區別，即是否存在一套預先確定的規則集作為應用程序的知識庫。

對于“基于知識的臨床決策支持系統”而言，參考規則可能包括在特定時間點指導醫學的一組指南、建議、最佳實踐和臨床研究，當設備被要求提供支持時，設備會將它們與患者數據和輸入到操作表格中的其他信息一起（重新）進行處理。盡管這類指導類型多樣，但不難獲取，尤其當它們來自研究機構或公共科學機構時：例如國家醫學圖書館、國家綜合癌癥網絡、美國臨床腫瘤學會等，②②參見Hoffman et al.， Guiding Principles for the Use of Knowledge Bases and Real-World Data in Clinical Decision Support Systems： Report by an International Expert Workshop at Karolinska Institutet， in Expert Review of Clinical Pharmacology， 2020， vol. 13， n. 9， pp. 925-934.因此醫療人員可以據此評估其與具體病例的相關性。

當知識庫是已知且可訪問時，將系統提供的建議視為指南提供的建議（見《意大利政府公報·通用法則》2017年24號法令第5條，該法令集以下簡稱為《通用法則》）似乎不存在特別障礙，因為答案無非是將已經得到驗證的醫學指標（Indicazioni scientifiche）與有關患者的信息相結合：這與醫生將患者的數據和數值與醫學指標和醫學編碼進行比照的方式類似。此外，根據《通用法則》2017年24號法令第5條第1款的規定，醫生在進行醫療服務，包括診斷和治療服務時，必須遵循相關指南或在缺乏指南的情況下遵循最佳臨床-護理實踐，除非因為具體情況的特殊性。

然而，這一點涉及與《杰里-比安科法》（Legge Gelli-Bianco）第3條和第5條相關的一個問題，因為設備知識庫包含的建議可能未經認證和更新（例如由于其源于國外），該程序的詳細規定可以在《通用法則》2018年2月27日的法令中找到，該法令第4條再次提到了由意大利衛生研究所通過的評估程序的規定。③③技術規定可在以下網址找到：https：//snlg.iss.it/？cat=3.盡管由科學界或意大利科學技術協會發布的大多數指南只是對其他已有指南的調整，但仍然存在一些源自國外但未被移植的指南。④④衛生部在（醫療責任）改革后發布的重組國家指南系統的法令也承認了這一點，其中規定可提交關于認證適合本國國情的國際指南的建議，意大利衛生研究所（ISS）評估每一個新提案時也會考慮國際指南的存在。關于《國家指南系統》（SNLG）的重組，請參閱衛生部2018年2月27日法令第5條第2款及第3款。以及《通用法則》2018年3月20日第66號法令，編號：18A01899。

無論如何，即使未按照醫療責任改革后的規定發布，這些指南（無論在其原系統中如何命名）仍可能被視為最佳臨床-護理實踐，其不需要被編碼，也不受認證程序的限制，也沒有培訓文件作為參考，而是作為在干預領域被普遍認可的實踐。⑤⑤F. Bocchini， La Sanità Lesiva. Ideologie e Strategie a Confronto， in Contratto e Impr.， 2018， p. 1317. 此外可以參見：Brusco， Responsabilità Medica Penale： Le Sezioni Unite Applicano le Regole sulla Responsabilità Civile del Prestatore d’Opera， in D. pen. proc.， 2018， p. 646 ss.; Masieri， Novità in Tema di Responsabilità Sanitaria， in Nuova g. civ. comm.， 2017， II， p. 757. 從絕對意義上看，似乎沒有人贊同這一觀點，例如Merli， La Disciplina delle Linee Guida e delle Buone Pratiche Mediche nella Legge Gelli-Bianco. L’Impatto sulla Causa di Esclusione della Punibilità Rimodulata e Reintrodotta dalla Riforma， in R. it. med. leg.， 2018， p. 1485. 該法第3條中提到的國家醫療安全最佳實踐觀察站的建立將使最佳實踐得到正式認可。實際上，從該條的標題和該機構的網站（https：//www.buonepratichesicurezzasanita.it/）上可以清楚地看出，其中設想的由健康風險管理和患者安全地區中心獲取的對象只是與預防健康風險有關的最佳實踐。第5條中提到的最佳臨床-護理實踐的內容截然不同，我們將有機會加以說明，該觀察站或任何其他觀察站或機構都沒有進行過調查或者公布任何信息。在這方面可以提出兩個疑問。第一個疑問與最佳實踐的內容有關，一些人認為它與指南的內容截然不同，因此它不應包含那些已經存在但缺乏法律要求的驗證的指南；第二個疑問則部分受第一個疑問的影響，即接受來自非認證指南（或同等文件）的最佳實踐建議，從而導致直接適用未經國家機構驗證的建議的風險。①①認證和更新程序的復雜性，無論其繁瑣程度如何令人不滿（參見：E. Quadri， Il Parto tra Vagliato della Riforma in Materia di Responsabilità Sanitaria， www.giustiziacivile.com， 3， 2017， p. 5 s.; Ziviz， Linee Guida e Buone Pratiche， dalla Legge Balduzzi alla Riforma Gelli， in RiDaRe.it， 27 marzo 2017.），但在新法規的影響下，指南正式進入資料來源的框架（見Franzoni， Colpa e Linee Guida nella Nuova Legge， in Danno e Resp.， 2018， p. 278; Coppola， Il Nuovo Sistema della Responsabilità Civile Sanitaria， in Resp. Civ.， 2018， p. 1448 ss.），在刑事和民事責任免責方面產生重要后果。在這種情況下，需要建立一個分類系統，以確認指南的有效性，以及其知識性或可知性（參見：Di Lella， Leges Artis e Responsabilità Civile Sanitaria， in Nuova g. civ. comm.， 2018， II， p. 267; 前引Brusco的文獻）。

關于第一個疑問，部分醫療法理論認為，盡管指南和最佳實踐在功能上存在很大相似性，但它們不能被等同，因為最佳實踐或標準的目的是預防損害（從而控制成本），并且更為嚴格，因此屬于“協議”（Protocolli）的范疇。在這方面，有人強調最佳實踐的立法主要涉及試驗和實驗室醫學領域，這表明它主要是臨床實踐中的邊緣安全程序（如手術室的衛生程序）。②②支持應更明確界定指南和最佳實踐之間差異的觀點包括：Roiati， Linee Guida， Buone Pratiche e Colpa Grave： Vera Riforma o Mero Placebo？， in D. pen. e proc.， 2013， p. 216 ss.; Valbonesi， Linee Guida e Protocolli per una Nuova Tipicità dell’Illecito Colposo， in R. it. d. proc. pen.， 2013， 1， p. 250 ss.; Nocco， Le Linee Guida e le 《Buone Pratiche Accreditate dalla Comunità Scientifica》 nella 《Legge Balduzzi》： un Opportuno Strumento di Soft Law o un Incentivo alla Medicina Difensiva？， in R. it. medicina legale， 2013， p. 781 ss. 在刑法和醫學法領域內，也有持不同意見的聲音，比如Brusco， Linee Guida， Protocolli e Regole Deontologiche. Le Modifiche Introdotte dalla c.d. Legge Balduzzi， in R. trim. d. pen. cont.， 2013， IV， p. 51 ss.， spec. 63 s.; Vergallo， Le buone Pratiche Clinico-Assistenziali nella Legge 8 Marzo 2017， n. 24， in Resp. med.， 2017， n. 2， p. 271 ss， 這一論文中涉及大量論點。

在醫學領域，“最佳實踐”概念最早應用于“安全最佳實踐”領域，比較數據③③參見Di Landro， Le Novità Normative in Tema di Colpa Penale （l. 189/2012， c.d. 《Balduzzi》）. Le Indicazioni del Diritto Comparato， in R. it. Medicina Legale， 2013， p. 833 s.和國內立法本身都證明了這一點。1997年7月15日的關于藥物人體臨床實驗的法令對最佳實踐作出了第一個（或許也是唯一的）定義。④④在這一法令中提到了一個相當寬泛的“最佳實踐”定義，即“用于設計、實施、記錄和報告涉及人體的臨床試驗的國際倫理和科學質量標準”，這與人們認為“最佳實踐”僅僅是剛性、預定因此不可更改的模式的想法截然不同。這表明，盡管在抽象層面上可以重構出不同含義，立法者在使用這些術語時采用其認為必要的含義（有時是作為替代，有時則是作為補充）。在這一領域，最佳實踐的形式是協議或檢查表（Checklist），其應用是強制性的，因為它能以一定的方式大幅度降低傷害風險。然而，隨著時間的推移，“安全最佳實踐”與最佳臨床-護理實踐相輔相成，后者與指南一樣，它們是為幫助醫生在特定臨床情況下決定最合適的治療方案而制定的行為建議。⑤⑤類似的定義可在這一著作中找到：Paladini， Linee Guida， Buone Pratiche e Quantificazione del Danno nella c.d. Legge Balduzzi， in Danno e Resp.， 2015， p. 881 ss， 以及該文注釋5；另參見前引Di Lella的文獻第268頁。醫療責任改革已經注意到這種區別，并區分了安全最佳實踐（第3條）和最佳臨床-護理實踐（第5條），將后者等同于指南。

實際上，當最佳實踐介入臨床實踐（醫學的一個分支，其目標是研究患者并進行相應的治療）時，最佳實踐在實質上（除了其實踐性質，以及不總是文件化的或至少在原則上不是文件化的特征）與指南無異，因此，立法上將它們視為“同一”⑥⑥《Un tutt’uno》， 這一表述請參見Alpa， Ars Interpretandi e Responsabilità Sanitaria a Seguito della Nuova Legge Bianco-Gelli， in Contratto e Impr.， 2017， p. 729.并不奇怪。結果是，在《巴爾杜齊法》（Legge Balduzzi，參見2012年11月8日第189號法令）中，兩者存在互補關系，并因此可以同時適用，而在《杰里-比安科法》中則不同，在同一語境中，最佳實踐被視為指南的替代方案，⑦⑦參見Fiori - Marchetti， Medicina Legale della Responsabilità Medica， Milano 2018， p. 201.可在后者缺失或具體案例無法適用指南的場景下適用。⑧⑧立法者傾向于采用指南的原因是，最佳實踐源于“臨床常識”（Buon senso clinico）經驗，往往是非文檔化的，難以確認和核驗。

將未經認證的指南視為最佳實踐，會導致將可能不適當的建議引入系統的風險。需要注意的是，盡管最佳臨床-護理實踐不受認證程序的約束，但為了發揮它們對法律的補充作用，它們必須是在對文獻和科學成果進行系統審查后制定的，并由公認的科學協會編寫。這種驗證使得對非制度化指南的評估變得更為復雜，因為它要求對諸如來源的權威性和方法的正確性等外在因素進行審查；①①參見：De Tura， La Rilevanza delle Linee Guida e dei Percorsi Diagnostico-Terapeutici， in Balduzzi （a cura di）， La Responsabilità Professionale in Ambito Sanitario， Bologna 2010， p. 264 ss.; Caputo， Filo d’Arianna o Flauto Magico？ Linee Guida e Checklist nel Sistema della Responsabilità per Colpa Medica， in R. it. d. proc. pen.， 2018， p. 888.然而，甚至按照憲法判例的傾向，也不認為只有正式指南對法律有補充作用。②②參見C. cost. 26 giugno 2002， n. 282， in Giur. cost.， 2002， p. 2012， 以及 C. cost. 14 novembre 2003， n. 338， in F. it.， 2004， I， p. 343.在任何情況下，醫生都有責任證明他在作出診斷或治療決策時已經嚴格審查了最佳實踐。③③參見Franzoni， Colpa e Linee Guida， cit.， p. 805.

如果我們同意這樣的假設，即遵循算法中的診斷和治療建議可能構成最佳護理實踐，那么我們就必須承認，根據經過深思熟慮的論點，即在因缺乏經驗而發生醫療事故時，遵循指南或最佳實踐本身就排除了懲罰的可能性。因此，在不排除醫生責任的情況下，遵循指南或最佳實踐能夠減少對患者的違約賠償金額。④④根據《杰里-比安科法》第7條第3款的規定，法官在確定賠償金時應考慮醫療專業人員的行為與遵循指南或最佳實踐的關系。對醫生行為的評估作為賠償金的參考依據，僅限于決定其數額，而不能導致免責。參見：前引Coppola的文獻第1453頁；A. Astone， Profili Civilistici della Responsabilità Sanitaria （Riflessioni a Margine della l. 8 marzo 2017， n. 24）， in Nuova g. civ. comm.， 2017， II， p. 1122， 他強調了其矛盾性。這種矛盾性導致了權威學說通過解釋糾正這一條文，認為按照第6條第1款的規定（《意大利刑法典》第590條第5款），即使醫生因過失導致事故發生，遵循指南或最佳實踐可以排除（刑法上的）懲罰，該規定意味著普遍排除了對專業人員進行懲罰，因此也排除了其在民事方面的責任，除非特定情況需要允許對專業人員進行處罰，參見Alpa， Ars Interpretandi e Responsabilità Sanitaria a Seguito della Nuova Legge Bianco-Gelli， cit.， p. 713; 參見前引Di Lella的文獻第269頁。

這些設備所包含的知識庫并非總是可訪問的，尤其當其中包含仍然保密和/或可商業化的信息時。盡管許多專家，包括計算機科學家和醫生，強烈呼吁信息源的開放和最大透明化（Open access），但當知識資產也代表一種商品時，可訪問性肯定會受到限制，并因此導致這些設備的智能化程度降低。就信息源的可驗證性而言，它們可能與“非基于知識的臨床決策支持系統”相似，即利用機器學習的形式提供診斷和治療的建議。

而對于“非基于知識的臨床決策支持系統”而言，應用程序在根據經驗和/或以往的臨床模型進行初始階段的訓練后（通常是監督學習），能夠（被要求）在沒有“指導”它的規則或輸入的情況下工作。盡管事實上用于學習的數據集（Dataset）通常是商業產品，但有理由懷疑，即使公開了數據集，人們也很難知道程序得出特定診斷結果所遵循的模式。這些系統不僅事前不可預測，而且事后也不透明，因為除了預定義的輸入外，它們還被設計成能對算法獨立確定的新輸入做出反應。⑤⑤參見Salanitro， Intelligenza Artificiale e Responsabilità： la Strategia della Commissione Europea， in questa Rivista， 2020， p. 1247.因此，盡管從未來的視角看，很有可能會有具體的規定將基于人工智能制定的診斷和治療方法作為指南，⑥⑥參見Bertolini， Dall’Imaging ai Sistemi Esperti. La Responsabilità del Medico e le Nuove Frontiere della Medicina Difensiva， in Profili Giuridici dell’Utilizzo della Robotica e dell’Intelligenza Artificiale in Medicina， cit.， p. 39 ss.， 尤其是第56頁。但從現有法律基礎（De iure condito）來看，似乎應將機器學習算法產生的建議排除出最佳實踐之外，更不用說指南了，因為醫生將無法對方法的正確性和信息源的權威性進行關鍵審查，而這是發揮對法律的補充作用所必需的。

四、算法診斷中的醫生參與和估算因素

盡管設備學習來源的不可知性（和不可預測性）使其在技術上無法被視為指南或最佳護理實踐，但選擇使用這種極為復雜和先進的技術（如人工智能技術）不可避免地會影響醫生的責任情況，可能是責任的產生或加重，也可能是責任的減輕或免除。我們可以假設以下三種情況作為產生這些后果的前提：（1）醫生遵循并執行錯誤的算法建議；（2）醫生遵循正確的建議仍然導致損害；（3）醫生偏離實際上正確的建議。

自動化或半自動化診斷系統的準確性并不能排除如上所述可能發生錯誤的存在。一方面，在本身具有特別困難的情況下更有可能出現錯誤，但這并不排除在普通病因條件下出現錯誤的可能性，另一方面，這也證明（并加強）了醫生在使用這些儀器時的注意義務。

首先，歸責于醫生的原因可能是他未注意到關于算法建議正確性的警告信號。這些信號通常只有醫生從患者的病史以及客觀檢查中才能識別。為了避免陷入過分提高所要求的注意標準的陷阱，①①在相同的條件下，醫生在提供醫療服務時所需的注意程度不應該根據其是否使用人工智能技術而提高。參見前引Fiorentini的文獻第1261頁，他恰當地提出“盡管使用極其先進的設備可能會提高病人的期望值，導致他們越來越多地尋求治愈而不是治療，但醫生的義務仍然是手段而不是結果（……）”。另請參見前引Votano的文獻第675頁，他認為“智能系統的使用本身應是一個與醫療服務性質無關的因素。”醫生承擔全部或部分責任僅以其專業水平所能發現的征兆為限。因為正如預期的那樣，錯誤大多發生在罕見且極其復雜的病因環境中。②②關于舉證責任，如果在以前的制度下，由醫生承擔“特別困難”的舉證責任符合將醫生的責任重構為合同責任的做法（參見：Cass. civ.， 28 maggio 2004， n. 10297， in F. it.， 2005， I， c. 2479; Cass. civ.， 21 giugno 2004， n. 11488， ivi， 2004， I， c. 3328， 由Bitetto注釋; Cass. civ.， 20 novembre 1998， n. 11743， in Danno e resp.， 1999， p. 344， 由Batà - Spirito注釋; Cass. civ.， sez. un.， 6 maggio 1971， n. 1282， in F. it.， 1971， I， c. 1476），那么在現行制度下，這種做法的合規性可能存在疑問，以至于在1999年1月22日第589號民事上訴案（確認了住院醫師責任的合同性質，載于Corr. giur.， 1999， p. 441， 由Di Majo注釋）判例只要求醫療專業人員證明存在適用該規范的先決條件，而由患者根據侵權責任的要件證明存在嚴重過失，參見Cass.， 16 novembre 1988， n. 6220， in Mass. Giust. civ.， 1988， fasc. 11. 不過，最高法院的做法是，區分容易完成的服務和涉及解決特別困難的技術問題的服務，僅與評估醫療專業人員的注意程度和相應的過失程度有關，因此，與合同責任或過失責任的定性無關（參見最近的民事終審判決，2020年5月6日第8496號，載于www.italgiure.giustizia.it；2018年6月15日第15732號民事終審判決，載于Guida dir.，2018年，第47頁）。如果說，一方面必須避免誘使醫生（他們已經很不情愿）掉入不使用設備的陷阱，這些設備在很大程度上能有效、及時地保障和改善健康；另一方面，必須摒棄那些以產品固有的危險無法預見為由，而免除責任的更具隱患的解決方案（它們在表面上公平并且似乎可行）。③③在這方面，Brutti在他的文章《醫療領域中的人工智能與責任：美國視角》中表達了一些疑慮。詳見Resp. med.， 2018， 4， p. 473 ss， 尤其是第474頁。

從總體上來說，盡管風險是偶發性的，但風險發生時所造成的損害也是顯著的。更具體地說，人工智能系統的“黑盒”和“深不可測”的本質并不排除獲取應用程序運作基本知識的可能性。即使應用程序的知識庫未知或數據集無法訪問，實際上仍然可以推斷出對算法建議影響最大的因素，以及它們在總體和/或分類層面的權重。④④讓我們試想一個用于識別哮喘和肺部疾病的系統，其參數包括肺活量（CV），一秒用力呼氣容積（FEV1）和用力肺活量（FVC），該系統考慮到每個輸入的參數都有相應權重（第一個參數為0.8，第二個參數為0.6，第三個參數為0.2，所有這些參數在0到1的范圍內）。參見Badnjevic - Gurbeta - Custovic， An Expert Diagnostic System to Automatically Identify Asthma and Chronic Obstructive Pulmonary Disease in Clinical Settings， Sci Rep. 2018 Aug 3， 8， 11645.如果算法建議被視為自動決策，那么從算法建議的可理解性角度來看，這些要素是非常有用的（根據《通用數據保護條例》（GDPR）第22條），而從醫生責任的角度來看，這些要素也是非常有用的，因為它們使醫療專業人員了解（并因此在一定程度上參與）系統考慮的要素以及它們的權重。這種知識使醫生能夠更有效地質疑診斷的準確性，并及時對可能存在的錯誤做出警告。⑤⑤歐盟數據保護委員會的指南（《第2016/679號條例中的自動化個人決策和分析指南》（Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679），2017年10月3日，第27頁）指出了在決策過程中向相關方提供足夠完整信息的必要性，包括所考慮的決策因素及其總體上的“權重”。在其他地方（Grasso， 《The Bad Algorithm. Automated Discriminatory Decisions in the European General Data Protection Regulation》， Napoli 2022， spec. p. 72 ss.），我們認為，披露總體權重只能被理解為遵守透明度義務的最低要求，但如果利益主體提出要求或客觀情況需要，控制者有義務以分類形式披露系統所考慮因素的權重，前提是技術上可以保持數據的匿名性。

其次，對醫生的歸責也可能基于他們與應用程序互動時的謹慎程度和所使用的專業技能。因此，即使遵循了正確的算法處方，仍然可能發生損害。⑥⑥不能忽視的是，最高上訴法院已經承認，證明醫生核實或確保機器正常運行的舉證責任在于醫生：見Cass. civ.， 3 ottobre 2018， n. 27448， 詳見www.italgiure.giustizia.it.

盡管自動化水平很高，但診斷支持系統仍離不開醫生的參與，他們的參與對于算法處方的實施（因此對于損害的實際產生）是必不可少的。①①最近，由于新冠大流行，遠程診斷程序領域有巨大發展。開發的系統包括使用機器人終端進行鼻咽拭子、口腔檢查、胸部聽診、腹部叩診和觸診。醫生通過一個新設計的用戶界面和一個帶有快速力反饋控制的引導機器人進行連接，從而實現精準而快速的移動：參見Fuchtmann - Krumpholz - Berlet - Ostler - Feussner - Haddadin - Wilhelm， COVID-19 and Beyond： Development of a Comprehensive Telemedical Diagnostic Framework， in International Journal of Computer Assisted Radiology and Surgery， 2021， 16， pp. 1403-1412. 所有這一切都表明，在將所謂的虛擬人工智能（電子病歷、診斷和治療計劃軟件等）與所謂的物理人工智能（通過機器人、智能假肢等進行外科手術輔助）集成之際，相對于目前，臨床決策支持系統的使用將具有不同（且更全面）的意義。然而，在這些工具上不應寄予過分樂觀的期望，特別是在新冠研究領域，那里使用胸部計算機斷層掃描對該病進行自動診斷的軟件被證明是有用的，但無法替代分子檢測，Di Rosa在他的著作中提出這一觀點，參見前引Di Rosa的文獻第117頁。這種參與不僅體現在對癥狀的識別上，還包括從程序建議的診斷中選擇最合適的診斷以及從系統建議的療法中選擇最合適的治療方案。除了對醫生個性化診斷的需要之外，這些技術也只是部分地排除醫生的干預：醫生的活動對于解釋算法結果以及將設備預測的療效轉化為實際的治療反應是不可或缺的。②②也由此引出了自動化系統與《意大利民法典》第2232條規定的專業服務中的親自履行原則是否相容的邊緣問題。

在這方面特別重要的是制造商對系統使用的建議，以及用戶對產品的實際控制（也可以說是用戶對機制和限制的了解）。如果制造商的建議不明確，醫生的錯誤決定就必須被不那么嚴格地考慮，但如果制造商的建議是明確的，并要求醫生做好相應預防工作，例如指出在特定環境或情況下設備出現診斷錯誤的百分比，那么就必須承認醫生和/或醫院的責任。③③在美國，關于醫生不當使用復雜遙控設備如達芬奇機器人引發了許多爭議。雖然這些設備帶來的問題不同，需要的技能也不同于診斷系統，但醫生需要接受專門培訓則是相同的，而這有時是缺乏的。在許多此類案件中，盡管醫生沒有根據產品使用說明接受足夠的培訓，但醫院仍對其施加壓力，要求他們使用達芬奇機器人，參見Taylor v. Intuitive案：（https：//www.reliasmedia.com/articles/136329-hospital-settles-lawsuit-after-credentialing-surgeonon-robot），（評論見Guerra， Profili di Responsabilità del Robot Chirurgico nell’Ordinamento Americano， in Resp. Med.， 2020， p. 227 s.）。在這方面，可以提出一個問題，即在歐盟范圍內，鑒于人工智能設備供應商將要承擔的責任，一個醫療機構雇員（非專業人員）使用復雜醫療設備是否可能成為供應商免責的理由，尤其是考慮到用戶手冊中提供的詳細說明，這些說明可能只推薦或至少鼓勵由經過專門培訓的專業人員使用。至于醫生的行為只有輕微過失的情況下是否應當承擔責任，或者是否只在嚴重過失的情況下才承擔責任，還存在爭議。在后一種情況下，人工智能技術的自主和不透明特征可能成為適用《意大利民法典》第2236條④④“作業的提供，于包括帶有解決特別困難的技術問題場合，作業提供者，除有惡意或重大過失場合外，不負損害賠償責任。”參見陳國柱譯：《意大利民法典》，中國人民大學出版社2010年版，第386頁。——譯者注的前提條件，而不管是否存在實際的特別困難的技術問題。然而，由于該工具的絕對新穎性，專業人士缺乏使用這種創新性技術手段的適當培訓，因此未能充分利用其功能或未能識別算法錯誤，可能被視為與經驗不足的醫生等同。因此，該類案件屬于學說、判例和憲法法院⑤⑤C. cost.， 28 novembre 1973， in F. it.， 1974， c. 19.認可的僅限于缺乏經驗案件的規則的適用范圍。⑥⑥文獻參見：Alpa， La responsabilità Civile， in Tratt. dir. civ. Alpa， IV， Milano 1999， p. 715; Monateri， La Responsabilità Civile， in Tratt. Sacco， Torino 2006， p. 745 ss.; Franzoni， Trattato resp. civ. L’Illecito， Milano 2004， p. 228 ss.; Ciatti， Responsabilità Medica e Decisioni sul Fatto Incerto， Padova 2002， p. 57; 關于該條款適用范圍擴大的文章參見Tescaroli， L’art. 2236 c.c. e l’Auspicabile Contenimento della Responsabilità Civile del Prestatore d’Opera， in Studium Iuris， 2021， p. 32 ss. 民事判例參見：Cass. civ.， 18 novembre 1997， n. 11440， in R. it. Medicina Legale， 1999， p. 982; Cass. civ.， 19 maggio 1999， n. 4852， in F. it.， 1999， I， c. 2874， 由Filograna注釋; Cass.， 13 gennaio 2005， n. 583， in Giust. civ.， 2006， I， 2186; Cass. civ.， 13 aprile 2007， n. 8826， in G. it.， 2008， I， p. 63; Cass. civ.， 12 settembre 2013， n. 20904， in Danno e resp.， 2014， p. 33， 由Amone注釋; Cass. civ.， 15 giugno 2018， n. 15732， in Guida dir.， 2018， p. 47. 在刑事判例中，已知與適用《意大利民法典》第2236條相關的問題歷經曲折。截至目前，最高法院判例雖然排除了直接適用第2236條，但將其視為“判決合理性標準”的表達，并因此認為在“具體案件要求解決特別困難的技術問題時，作為評估缺乏經驗指控時應遵循的經驗法則”，案例參見Cass. pen.， sez. un.， 21 dicembre 2017， n. 8770， in G. it.， 2018， 4， p. 841 e 944， 由Di Majo和Risicato注釋; 也可參見D. pen. proc.， 2018， 646， 由Brusco注釋；Cass. pen.， 7 giugno 2017， n. 28187， in G. it.， 2017， p. 2199， 由Risicato注釋；Cass. pen.， 19 novembre 2015， n. 12478， in Cass. pen.， 2016， II， p. 4438， 由Marchini注釋；Cass.， 26 aprile 2011， n. 16328， in R. it. Medicina Legale， 2012， p. 369， 由Sardella注釋。

更難以克服的是這樣一種觀點，即適用該條款的先決條件始終應在具體案例中尋找，因為“從抽象和預先確定的類別中推斷出特別困難的技術問題的潛在類別”是不夠的，⑦⑦Faccioli， La Responsabilità Civile in Telemedicina， in Resp. civ. prev.， 2021， p. 740 ss， 其中提供了大量參考文獻。Botrugno則持有不同意見，參見Botrugno， Un diritto per la Telemedicina： Analisi di un Complesso Normativo in Formazione， in Pol. d.， 2014， p. 661 s.例如人工智能設備的使用。然而，一方面，即使排除第2236條自動適用于借助人工智能設備提供醫療服務，但如果考慮前面已經提到的情況，即通常而言，最有可能發生算法錯誤的情況往往具有特別困難的特征，那么實際上，這種觀點可能只是一種表面上的限制。另一方面，除了經驗的重要性之外（這種重要性并不總是存在），最高上訴法院最近在重新發現第2236條的價值時的取向值得注意，因為它重新審視了“特別困難”的概念，明確指出特別困難的技術問題“不僅指解決無法解決或完全隨機的問題，也指解決具有特殊復雜性的新技術問題”①①最近的一些判例參見Cass.， 21 novembre 2020， n. 25876和Cass.， 31 agosto 2015， n. 16275， 均可在www.italgiure.giustizia.it上查詢。。

上述內容不應導致忽略這樣一個事實，即在大多數情況下，算法建議都是正確的，在多數醫學領域，這些設備的診斷錯誤率低于醫生的錯誤率。②②除了上述研究外，在Sutton - Pincock - Baumgart - Sadowski - Fedorak - Kroeker的著作中還提到了在眼科、心臟科和放射科領域已經成功實驗過的多個項目，詳見第5頁和第6頁。人工智能技術的高準確性因此使相關的建議被視為一種特別可信和可靠的行為模式，盡管仍然需要驗證算法建議在特定情況下的可用性。③③引用了“合理信賴”原則，根據該原則，“只要設備擁有質保認證，且醫生使用該系統正確執行所委托的任務，就可構成免于承擔醫療責任的屏障”，見前引Lagioia的文獻第157頁。正因為如此，如果醫生甚至沒有進行必要的說明，就決定排除或忽略已被證明是正確的機器建議，即使面對的是一個具有特別困難特征的病例，也有發生過錯的風險。④④在特別困難的技術問題下，算法確實會犯更多的錯誤，但這種犯錯誤的可能性與這種情況下的特別困難成正比，其中醫生單獨或僅依賴傳統手段很可能會遇到更大的困難。因此，自動化系統在這些情況下比在其他情況下更能發揮有效的輔助作用，即在經驗較少的同事要求進行會診時，或在任何情況下希望進行合格的、可能是澄清性的比較時，它能以更明顯的方式扮演專業性較強的醫生的角色（這當然不排除專業性較強的醫生本身的錯誤）。算法建議正確的可能性大于不正確的可能性，這就決定了打算偏離算法建議的醫生必須承擔核查責任：這一責任不應被理解為對其專業自由裁量權的限制或侵犯，而應被理解為保護其所屬機構免受可能的民事和會計索賠的措施，尤其是保護患者健康的措施。

五、知情同意與（不）成功情形：對德國法律的一瞥

另一個重要的新穎之處在于確定是否需要向患者提供在醫療護理中所使用的自動化設備的信息，這涉及對責任的影響。與其相關的有兩個特別重要的問題：是否要讓患者了解設備可能具有的機器學習性質（這意味著需要認識到解決方案的不可預測性和知識來源的不確定性）；是否應告知患者應用程序的錯誤率（錯誤率可能會根據設備在不同醫學領域以及使用的情況或環境而有所不同）。⑤⑤在治療上必要且按照醫學規則正確實施的情況下，關于可能出現的后果（至少是可預見的后果）的充分信息是解除責任的理由，參見Cass. civ.， 9 febbraio 2010， n. 2847， in Corr. giur.， 2010， p. 1201 ss.， 由Di Majo注釋。顯然，確定要向患者提供哪些信息，不僅會對醫生的民事責任產生影響，也可能促進或者減弱患者群體對這些設備的信任。

法官在裁量時特別強調知情同意的能力影響患者是否愿意接受治療或手術的選擇，因此對信息的這種影響力予以充分考慮。德國最高上訴法院在被要求解決應向病人告知哪些信息的不確定性時，認為告知有關常見和經常發生的結果的信息是合理的，排除了有必要告知患者有關異常和罕見結果的必要性，這可以避免因恐懼而阻礙他們接受有益且多數情況下沒有風險的手術或治療。⑥⑥Cass. civ.， 19 settembre 2014， n. 19731， 參見www.italgiure.giustizia.it; Cass. civ.， 11 dicembre 2013， n. 27751， in R. it. Medicina Legale， 2015， p. 322; Cass. civ.， 30 luglio 2004， n. 14638， in G. it.， 2005， p. 1395， 由D’Auria注釋。因此，也排除了告知患者有關使用人工智能設備的義務，更不用說告知其錯誤率或其他相關的事實了。⑦⑦相關論述參見：De Menech， Intelligenza Artificiale e Autodeterminazione in Materia Sanitaria， in BioLaw Journal， 2022， p. 181 ss.; 現在也在《醫學中機器人技術和人工智能使用的法律方面》（Profili Giuridici dell’Utilizzo della Robotica e dell’Intelligenza Artificiale in Medicina）第9頁及其后重新發表。持不同意見的觀點參見：Tozzi - Cinelli， Informed Consent and Artificial Intelligence， in Biolaw Journal， Special Issue， 2， 2021， p. 106 s.; Muto - Tosco， Forum AI and Law， in Biolaw Journal， 2020， 1， p. 507.但我們的法律對此持保留意見，首先是基于2017年12月22日第219號法令第1條的規定，承認每個人都有權獲得有關提議的診斷、預后、診斷檢查的益處和風險，以及可能的替代方案和拒絕的后果的全面、更新的和可理解的信息。①①該規則的開放性質以及《意大利共和國憲法》第13條和第32條規定的知情同意的憲法基礎（參見C. cost.， 23 dicembre 2008， n. 438， in G. cost.， 2008， p. 4947），超越了《醫療道德準則》（Codice di Deontologia Medica）第33條可能產生的影響，該條要求考慮“患者的敏感性和情感反應”：除了內部限制外，這一規則的目的是在預后不佳的情況下指導醫生的溝通。這樣，患者在了解設備的錯誤率或其運行機制后，也可以選擇采用以傳統方式進行的程序的“替代方案”②②同樣還有參考價值的有：國家生物倫理委員會于2020年5月29日發布的《人工智能和醫學：倫理方面》的意見書（尤其是第14頁），其中建議充分告知患者有關治療中使用的人工智能系統的信息；聯合國在醫療保健領域中關于人工智能的指南也提到，醫生應對患者保持透明，告知他們人工智能的使用情況，盡量解釋其目的和功能，并明確任何關鍵問題（《人工智能在健康領域的倫理和治理，世衛組織指南》，2021年6月28日，特別是第48頁）。。

但是，在比較法基礎上，尤其是通過與德國法的比較，我們可能會對此產生更多質疑，因為那里明顯更少父權主義的視角。在德國法中，對“同意”的理解更加細致，也更為平等，而關于醫生是否有義務告知患者使用人工智能進行診斷和治療的討論也并非偶然。③③還可以參考以下文獻：Droste - Wiebke， Intelligente Medizinprodukte： Verantwortlichkeit des Herstellers und rztliche Sorgfaltspflichten， MPR 2018， pp. 109-115; Helle， Intelligente Medizinprodukte： Ist der geltende Rechtsrahmen noch aktuell？， in Medizinrecht， 2020， 38 （12）， pp. 993-1000; Spindler， Telemedizin; Roboter und Künstliche Intelligenz， sub § 823 BGB， VIII. Besondere Flle， in Gsell - Krüger - Lorenz - Reymann（a cura di）， beck-online. Grosskommentar zum BGB， Munich 2021， Rn. 1052-1057.

從《德國民法典》第630條與《德國刑法典》第228條的規定可以看出，對于詳細和分析性信息④④原文是“un’informazione analitica”，意為“深入、非常精確的信息”，此處按原意翻譯為“分析性信息”。——譯者注的重視并不僅限于尊重信息和治療自主權的層面，還延伸到醫生的責任領域。如果病人同意并接受以完整和可理解的方式表達的預期風險，醫生的責任就被排除。主治醫生有責任向患者提供有關同意的所有相關情況的信息，尤其是與診斷和治療相關的性質、范圍、實施、預期后果、風險，以及它在診斷和治療方面的必要性、緊迫性、適宜性和成功前景。為患者提供高度詳細和完整的信息使人們傾向于認為，也有義務告知患者關于在診斷中使用自主學習設備的情況，以及相應的錯誤率。⑤⑤參見Ebers - Heinze - Krügel - Steinrtter， Künstliche Intelligenz und Robotik， München 2020， p. 100 s， 當人工智能已經成熟、經過充分測試并確實可以安全使用時，他們似乎排除了這種義務。

阻礙這種做法的是與人工智能設備運行相關的透明度限制，這可能導致實際上難以向患者充分傳達信息。不過，正如下文將討論的那樣，《人工智能法案》⑥⑥該法案于2021年4月21日由歐盟委員會提議，2023年6月14日提案獲得通過。2023年12月8日，歐洲議會、歐盟成員國和歐盟委員會三方就《人工智能法案》達成協議。2024年3月13日歐洲議會正式通過該法。——譯者注（La Proposta di Regolamento Europeo sull’Intelligenza Artificiale）規定供應商向用戶傳達的信息要求（特別是第12至14條），可以彌補在向患者充分介紹自主學習系統的功能和不足方面的困難。⑦⑦法國對生物倫理法的修改也具有重要意義。2021年8月2日的“2021-1017號法令”在《公共衛生法典》中增加了新的條款（第L4001-3條），規定專業人員在使用涉及數據算法處理的醫療設備以實現預防、診斷或治療時，有義務告知當事人，并在必要時向其提醒相應后果。醫療從業者必須接受關于數據處理的培訓，并且在處理過程中使用的患者數據以及所獲得的結果必須對他們可見。開發者和設計者保證向用戶解釋相關操作。德國法律也采用了另一種方法（參見《德國民法典》第630h條第1、4、5款），即使用相對推定，能夠在不過分懲罰從業者的情況下，為受到醫生過失和自動決策系統誤導而受損的患者提供有效的保護。

六、對《人工智能責任指令（提案）》的評論

當我們考慮到一些人工智能系統的自主性和不透明性特征時，使用推定就顯得尤為有用。這些特征實際上使得解釋設備的內部運行變得極為困難。無獨有偶，在最近的《人工智能責任指令（提案）》（Direttiva sulla Responsabilità da Intelligenza Artificiale，以下簡稱《指令》）中，歐盟立法者選擇了推定作為首選的調整機制，認為它比各國法律中的其他工具更有效、侵犯性更小。這一監管框架以《人工智能法案》中包含的對高風險系統的要求為基礎，舉證責任的減輕主要取決于是否滿足這些要求。《指令》的適用范圍狹窄但卻很關鍵，它就涉嫌造成損害的高風險人工智能系統的證據披露和基于過失的非合同責任訴訟中的舉證責任制定了共同規則。

首先，如果高風險人工智能系統的供應商或用戶拒絕遵守法院發布的披露或保存證據的命令，則可推定其未履行注意義務。特別是在損害賠償請求中，如果被告不遵守法院的命令，將被推定“被告未履行相關的注意義務，而這些所要求的證據是為了證明損害賠償請求的目的”（《指令》第3條第5款）。鑒于在實踐中，供應商和用戶不愿意披露信息，也不愿意透露與他們負責的人工智能系統有關的內容（在潛在的損害賠償案件中可能是證據），這一推定似乎是值得歡迎的。在沒有明確法律義務的情況下，他們往往只是泛泛地說明系統的運行情況，最多也只是說明在使用人工智能設備時所遵循的安全政策，而不提供更多細節或完整的分析框架。這種抵制通常不是由于技術缺陷，而是出于不愿透露商業邏輯以利潤最大化的意愿。

與我們的討論相關的一個問題浮現了出來，即依賴自動化設備進行職業活動的醫生可能需要披露哪些證據要素？一般而言，人工智能系統的用戶（例如使用機器學習設備的醫生）可能需要披露兩類證據要素：一是來自于供應商傳遞給他的信息，二是由《人工智能法案》直接規定的。

根據《人工智能法案》，供應商必須告知用戶設備可能產生的與每一種危險關聯的剩余風險，以及它可能帶來的總體剩余風險（見《人工智能法案》第9條第4款）。此外還必須提供有關設備使用說明、供應商相關信息、系統性能和預期目的、適用人群（如果應用于診斷背景則是一個重要參考）、輸入數據或訓練數據集的規格、驗證和測試、系統預期壽命以及確保其正常運行所需的所有維護和保養措施的信息，包括更新信息（見《人工智能法案》第12條）。即旨在使“人類監督原則”（Human in the loop，即“人在回路”）有效的所有信息（見《人工智能法案》第14條）。

至于《人工智能法案》直接要求用戶以及作為人工智能設備實際使用者的醫生有義務披露的信息，則是用戶親自開展的活動，或者與用戶對設備進行的監督活動有關的證據。用戶首先保證輸入到應用程序中的數據（Dati di input，即“輸入數據”）與高風險人工智能系統的預期目的相關（如輸入到臨床或診斷決策支持系統中的病人數據），根據收到的使用說明監控設備的運行，并將系統自動生成的日志保留一段與預期目的和法律義務相稱的時間（《人工智能法案》第29條）。①①日志是一個文件，按照時間順序記錄用戶或計算機在使用軟件或應用程序時執行的所有操作，包括計算機在無人干預的情況下執行的操作。除了設備的健康信息之外，日志還記錄任何錯誤或異常。

其次，更令人困惑的是與因果關系的存在有關的推定，與未履行注意義務的推定不同，它僅適用于“復雜情形”②②“A fattispecie complessa”，這一表述參見前引D’Adda的文獻第822頁注釋27。的范圍：盡管該推定（在某些條件下）也可在由非高風險人工智能系統引起的損害中適用（見《指令》第4條第5款），③③當索賠涉及非高風險系統時，該推定僅限于因果關系舉證過于困難的情況。但“如果被告證明原告可以合理地獲得足夠的證據和專業知識來證明因果關系的存在”，則法院不應適用關于高風險人工智能系統的損害賠償請求之推定。（見《指令》第4條第4款）。

如果并不符合后一種假設，則該推定適用于人工智能系統造成的損害（似乎僅限于人身傷害④④盡管各成員國有相當自由余地（也是所使用工具的特征），然而，根據《指令》，似乎傾向于將因果關系的推定限于對人身傷害的損害賠償請求中（參見《指令》“考量因素”第22條）。），但受害方必須證明被告因故意或過失未履行歐盟或國家法規定的防止損害發生的注意義務：根據具體情況推斷，這種行為有影響系統性能的合理可能性；損害結果由設備的輸出引起（見《指令》第4條第1（a）-1（c）款）。然而，對高風險人工智能系統的供應商或用戶而言，針對他們的舉證范圍縮小了。就未能履行應有的注意義務而言，歸結為以下證據：（1）供應商未遵守《人工智能法案》的要求（見第3編第2章）或者（2）用戶（a）未能履行按照收到的說明使用或監控系統的義務，或者必要時暫停或中止使用系統的義務；或者（b）使其控制的不相關的數據輸入到系統中。

關于最后一種情況，即用戶確實控制著數據的輸入，并且可要求系統執行（例如，醫生在程序對話框中輸入的指征可追溯到另一種病理，從而誤導系統），損害往往發生在用戶無法按照收到的說明使用或監控設備的情況中。根據國家的相關責任法，這可能會被視為有責。然而事實上，用戶收到的說明可能是模棱兩可或片面的，或與他們面臨的具體情況相矛盾。盡管如此，醫生應該遵循這些說明，以避免引發推定其行為與系統所產生的輸出之間存在因果關系的風險。

在暫停或中止使用設備的問題上，也有類似的情況。正如一些與達芬奇機器人造成的損害有關的美國案例所表明的那樣（其原理可延伸至診斷領域），①①還可在以下著作中找到更多評論：Guerra， Profili di Responsabilità del Produttore di Robot Chirurgico nell’Ordinamento Americano， in Profili Giuridici dell’Utilizzo della Robotica e dell’Intelligenza Artificiale in Medicina， p. 57 ss， 特別強調了在機器人技術領域存在的“責任差距”（Responsibility gap）問題，即將對外科醫生提起的訴訟轉變為對機器制造商的訴訟的趨勢（詳見第69頁）。如果證明醫生選擇停止使用該設備（即使是合理的）導致了次優解決方案，那么醫生是否可以繼續免責就值得懷疑了。②②在涉及住院醫師的情況下，患者可能會直接根據《意大利民法典》第1218條和1228條對醫療機構提起訴訟，指責其未對其雇傭的專業人員進行適當培訓。關于在國外醫學法文獻中對這種可能性的詳細討論，可以參考前引Fiorentini的文獻第1262頁。

盡管《人工智能法案》第14條（尤其是第4（d）款）規定高風險設備（如醫療診斷設備）的使用者必須能夠在任何特定情況下忽略、覆蓋或反轉系統的輸出，但在現實中，醫生（甚至其他操作員）并不總是能夠僅僅依靠自身專業知識來決策。并且，在醫療保健領域這個以明顯的防御機制著稱的領域，在面對不確定或模糊的算法建議時，認為專業人士會不顧可能獲得相應免除或減輕責任的可能性而自行放棄算法建議的設想并不現實。如果我們想要鼓勵人工智能的使用，而又不希望冒著“人在回路”原則失效的風險，那么我們就應該避免將舉證責任建立在單純的因果關系之上，而應將其限制在那些可以對醫生（嚴格地？）進行主觀指責的情況下。

Algorithmic Misdiagnosis and Medical Liability

Abstract： Diagnostic decision support systems pose novel problems on the level of attribution of liability in cases where the intelligent device makes an erroneous assessment from which harm results. Having verified the value as guidelines or good practices of algorithmic prescriptions， both the profile of informed consent and the physician's participation contribution assessed under Article 2236 of the Civil Code are subject to consideration. An alternative approach is offered by the Proposed Directive on Artificial Intelligence Liability， capable of providing， through the use of relative presumptions， effective protection for the patient without unduly penalizing the position of the professional.

Keywords： CDSS; Medical Liability; Relative Presumptions; AI Liability Directive Proposal