糖尿病視網(wǎng)膜病變眼底彩照人工智能研究標(biāo)準(zhǔn)數(shù)據(jù)庫的建立規(guī)范

于偉泓，張 瀟, 吳 嬋，陳 歡，楊治坤，賀 峰，張枝橋，張碧磊，鞏 迪，王月麟，楊景元，李 冰，孫燕媛，馬亞靜，陸慧琴，夏 蔚，周 偉，張東磊，潘慶敏，楊 寧，王淑娜，孫曉蕾0，遇 穎，蘇 暢，萬 博，汪明啟，王 敏，陳有信

1中國醫(yī)學(xué)科學(xué)院 北京協(xié)和醫(yī)學(xué)院 北京協(xié)和醫(yī)院眼科 中國醫(yī)學(xué)科學(xué)院眼底病重點實驗室，北京1007302中日友好醫(yī)院眼科，北京 1000293西安市第一醫(yī)院眼科，西安 7100024蘇州大學(xué)附屬第一醫(yī)院眼科，江蘇蘇州 2150065天津醫(yī)科大學(xué)總醫(yī)院眼科，天津3000526山西醫(yī)科大學(xué)第一醫(yī)院眼科，太原0300017山東第一醫(yī)科大學(xué)第二附屬醫(yī)院眼科，山東泰安2710168徐州醫(yī)科大學(xué)附屬醫(yī)院眼科，江蘇徐州 2210049濰坊醫(yī)學(xué)院附屬醫(yī)院眼科中心，山東濰坊 26103510山東第一醫(yī)科大學(xué)附屬眼科醫(yī)院(山東省眼科醫(yī)院)，濟(jì)南 25002111哈爾濱醫(yī)科大學(xué)附屬第四醫(yī)院眼科，哈爾濱 15000112承德醫(yī)學(xué)院附屬醫(yī)院眼科，河北承德 06702013北京市通州區(qū)潞河醫(yī)院眼科，北京10119914平頂山市第一人民醫(yī)院眼科，河南平頂山46709915咸陽市第一人民醫(yī)院眼科，陜西咸陽 712099

糖尿病視網(wǎng)膜病變(diabetic retinopathy, DR)，是糖尿病的主要眼部并發(fā)癥，屬于不可逆的致盲性眼病。目前我國有DR患者3000余萬，DR的早期篩查與治療是目前急需解決的問題。近年來，隨著人工智能識別技術(shù)的興起，為解決DR篩查工作量大但眼底專科醫(yī)師短缺的矛盾，DR的人工智能輔助診斷技術(shù)逐漸成為研究的熱點[1]。目前已有多個DR人工智能研究團(tuán)隊公開了旗下篩查系統(tǒng)，并自認(rèn)為性能較好。例如，美國IDx團(tuán)隊研發(fā)的DR人工智能篩查系統(tǒng)，該系統(tǒng)于2018年4月獲得了美國食品藥品監(jiān)督管理局(Food and Drug Administration，F(xiàn)DA)的首個批準(zhǔn)文件[1- 2]，其研究成果主要基于Kaggle (https://www.kaggle.com/)、MESSIDOR 2(https://www.adcis. net/en/third-party/messidor/)等數(shù)據(jù)集[3]，但此類數(shù)據(jù)集未充分考慮測試集設(shè)計與臨床適用性的適配度，測試集中數(shù)據(jù)質(zhì)量參差不齊，缺乏規(guī)范的標(biāo)準(zhǔn)管控。國內(nèi)也有多個團(tuán)隊研發(fā)了DR人工智能系統(tǒng)，其中3家順利獲得了我國FDA器審中心的審核批準(zhǔn)(https://www.nmpa.gov.cn/ylqx/ylqxjgdt/2020081009 3435157.html)，但這些成果的研發(fā)與驗證主要是基于研發(fā)團(tuán)隊自行建立的數(shù)據(jù)集,均未公開，因此無法對不同的軟件性能進(jìn)行“頭對頭”比對。

基于實際臨床應(yīng)用場景的DR測試集在我國乃至全球尚屬空白，北京協(xié)和醫(yī)院眼科基于真實世界數(shù)據(jù)，構(gòu)建了DR眼底彩照人工智能研究標(biāo)準(zhǔn)數(shù)據(jù)庫，并于2019年7月將數(shù)據(jù)庫中1.5萬張圖片發(fā)布于人工智能醫(yī)療器械創(chuàng)新合作平臺，可作為人工智能研究的開發(fā)和驗證(http://www.aimd. org.cn/newsinfo/615994.html? templateId=506998)。本文從該標(biāo)準(zhǔn)數(shù)據(jù)庫的數(shù)據(jù)構(gòu)成、建庫規(guī)范、初建規(guī)模、審核管理、更新規(guī)則、使用規(guī)則、日常管理等進(jìn)行全方位闡述。

1 數(shù)據(jù)庫數(shù)據(jù)構(gòu)成

考慮到數(shù)據(jù)庫應(yīng)具有代表性，因此圖像采集來源于真實世界，覆蓋目前臨床常用的眼底彩照相機型號，且眼底圖像的內(nèi)容考慮到各DR分期的分布以及圖像質(zhì)量、合并其他病變等混雜因素。

標(biāo)準(zhǔn)數(shù)據(jù)庫最終納入來自全國8個省/直轄市(陜西省、山東省、江蘇省、天津市、黑龍江省、河南省、河北省、山西省)14個地區(qū)真實世界連續(xù)采集的糖尿病患者后極部眼底彩照1.5萬張，每只眼一張后極部眼底彩照。照相機涵蓋了目前市場主流的眼底照相機機型，包括Canon CF- 1、Canon CR- 2、Daytona P200T、Kowa Nonmyd D7、Kowa Nonmyd WX 3D、Kowa Nonmyd α-DⅢ、SUOER SW- 8800、Topcon 50IX、Topcon TRC- 50IX、Topcon TRC-NW300、Zeiss FF450、Zeiss VISUCAM 500。

標(biāo)準(zhǔn)數(shù)據(jù)庫包含無DR、輕度非增殖性DR、中度非增殖性DR、重度非增殖性DR、增殖性DR、激光治療后DR等各個病程的眼底彩照，同時結(jié)合真實世界數(shù)據(jù)采集情況，納入了圖像質(zhì)量差、不適合標(biāo)注的眼底彩照，以及合并其他眼底疾病的DR圖像。

2 數(shù)據(jù)庫建庫規(guī)范

2.1 圖像采集規(guī)范

數(shù)據(jù)庫對圖像質(zhì)量進(jìn)行了明確要求，包括圖像采集部位、覆蓋范圍、分辨率等。圖像采集部位要求40°～55°拍攝的眼底后極部(包括視盤和黃斑區(qū))眼底彩照一張，以黃斑與視盤連線中點為中心的圖像最佳；以全分辨率保存數(shù)字圖像，圖像文件要求為無損壓縮的JPG/JPEG/BMP/PNG等格式，像素要求不低于30像素/度。

2.2 數(shù)據(jù)脫敏和預(yù)處理

圖像收集后需對圖像進(jìn)行數(shù)據(jù)脫敏和預(yù)處理，數(shù)據(jù)脫敏時去除數(shù)據(jù)中的敏感信息，預(yù)處理則為減少數(shù)據(jù)中的缺失值、噪音及無關(guān)信息的干擾，提高數(shù)據(jù)質(zhì)量。本研究中心采用ImageMagick軟件進(jìn)行完全脫敏(100%脫敏)，刪除圖像文件命名與圖像中的敏感隱私信息，保證數(shù)據(jù)安全(圖1)。

圖1 數(shù)據(jù)脫敏過程

數(shù)據(jù)預(yù)處理是指對所收集的數(shù)據(jù)進(jìn)行分類或分組前的審核、篩選、排序等處理。本研究中心采用OpenCV軟件進(jìn)行預(yù)處理，裁剪時，僅對圖像的尺寸進(jìn)行統(tǒng)一化，并未對圖像進(jìn)行壓縮或處理，對圖像質(zhì)量無影響。眼底圖的有效影像內(nèi)容在一個圓形視野內(nèi)，通過Python工具讀取圖像三通道信息確定視野的圓心和直徑，按照圓形外接正方形截取圖像，把圓外部分全填充為黑色，并把處理結(jié)果保存至新的目錄且采用新的名稱，以減輕后續(xù)標(biāo)注和模型訓(xùn)練的人工干預(yù)及編程工作量。

2.3 圖像標(biāo)注

2.3.1 標(biāo)注人員資質(zhì)及分組

本數(shù)據(jù)庫數(shù)據(jù)由北京協(xié)和醫(yī)院眼科閱片中心眼底閱片團(tuán)隊進(jìn)行標(biāo)注。考慮不同環(huán)節(jié)的工作量和人員資質(zhì)差異，標(biāo)注工作由標(biāo)注醫(yī)師(眼底專業(yè)研究生學(xué)歷、住院醫(yī)師及以上職稱且從事眼底病相關(guān)工作至少2年)、評估醫(yī)師(主治醫(yī)師及以上職稱且從事眼底病相關(guān)工作3～5年)和仲裁專家(副主任及以上職稱且從事眼底病相關(guān)工作至少8年)3級醫(yī)師參與。對標(biāo)注團(tuán)隊人員進(jìn)行統(tǒng)一培訓(xùn)，所有醫(yī)師經(jīng)考核合格后方可進(jìn)入正式標(biāo)注環(huán)節(jié)。

標(biāo)注以小組方式進(jìn)行，即一張圖片由小組中多人閱片。每小組應(yīng)由奇數(shù)閱片人員組成(如3人、5人、7人)。以3人為一組的標(biāo)注模式通常采用以下方案：(1) 2名標(biāo)注醫(yī)師相互獨立標(biāo)注，標(biāo)注結(jié)果一致的圖像直接入庫；標(biāo)注結(jié)果不一致時進(jìn)行分歧討論，討論后結(jié)論達(dá)成一致則圖像入庫，若無法達(dá)成一致，則引入第3人(仲裁專家)再次進(jìn)行討論，討論達(dá)成多數(shù)一致則圖像入庫，討論無法達(dá)成一致，則剔除圖像。(2)3名標(biāo)注醫(yī)師相互獨立標(biāo)注，標(biāo)注結(jié)果達(dá)成多數(shù)一致的圖像直接入庫；完全不一致時進(jìn)行分歧討論，討論后結(jié)論達(dá)成一致則圖像入庫，若討論無法達(dá)成一致，則剔除圖像。(3)3名標(biāo)注醫(yī)師相互獨立標(biāo)注，標(biāo)注結(jié)果達(dá)成多數(shù)一致的圖像直接入庫；完全不一致時進(jìn)行分歧討論，討論后結(jié)論達(dá)成一致則圖像入庫，若無法達(dá)成一致，引入第4人(仲裁專家)，圖像結(jié)論以仲裁結(jié)果為準(zhǔn)。本數(shù)據(jù)庫采用前2種方案。

2.3.2 標(biāo)注設(shè)備要求

數(shù)據(jù)標(biāo)注所用顯示器的相應(yīng)要求：彩色顯示器，分辨率大于1366×768，使用尺寸大于15英寸，標(biāo)注時將屏幕調(diào)至最大亮度，標(biāo)注界面背景為黑色。

2.3.3 標(biāo)注標(biāo)準(zhǔn)的制定

圖像標(biāo)注內(nèi)容一般包括：(1)圖像質(zhì)量判定標(biāo)注；(2)病灶標(biāo)注(可選，若數(shù)據(jù)庫不要求則可不標(biāo)注，根據(jù)任務(wù)需求決定)；(3)DR分級標(biāo)注。

本中心數(shù)據(jù)庫圖像質(zhì)量級別的定義符合谷歌采用的圖像質(zhì)量分類標(biāo)準(zhǔn)。DR與病灶的分級標(biāo)注依據(jù)2003年美國眼科學(xué)會提出的國際臨床DR嚴(yán)重程度分級及糖尿病黃斑水腫嚴(yán)重程度分級標(biāo)準(zhǔn)。

2.4 數(shù)據(jù)質(zhì)量控制

數(shù)據(jù)庫建庫過程的各個階段均要求對參與人員進(jìn)行先期培訓(xùn)，考核合格者方能承擔(dān)相應(yīng)工作。

數(shù)據(jù)采集階段，要求圖像收集人員是接受培訓(xùn)并考核合格的眼科工作人員(技師或眼科醫(yī)生)，持有技師資格證書或醫(yī)師資格證書。

數(shù)據(jù)標(biāo)注階段，標(biāo)注醫(yī)師首先獨立觀察圖像質(zhì)量是否合格：若不合格，則在圖像上標(biāo)注相應(yīng)分級(5或6)，即完成標(biāo)注；若合格，則首先標(biāo)注相應(yīng)分級(1～4)，然后再對圖像進(jìn)行DR分級，且在圖像上根據(jù)DR分級標(biāo)出相關(guān)病灶。每完成一個標(biāo)注時段，由評估醫(yī)師對此時段所有獨立標(biāo)注的結(jié)果進(jìn)行標(biāo)注質(zhì)量評估：先以所有標(biāo)注醫(yī)師DR分級標(biāo)注結(jié)果的中位數(shù)作為標(biāo)準(zhǔn)，然后計算每個標(biāo)注醫(yī)師的Kappa值。Kappa 取值于閉區(qū)間[-1, 1]，但通常落在[0, 1] 上，一般可用以下6個等級衡量其一致性：[-1, 0]視為不一致，(0, 0.2]視為一致性極低，(0.2, 0.4]視為一致性一般，(0.4, 0.6] 視為一致性中等，(0.6, 0.8] 視為高度一致，(0.8, 1]視為幾乎完全一致。Kappa值為(0.6, 1]視為標(biāo)注合格，[-1, 0.6]視為標(biāo)注不合格，需重新標(biāo)注，同時標(biāo)注人員也應(yīng)重新培訓(xùn)，考核通過后方能繼續(xù)標(biāo)注任務(wù)。

3 數(shù)據(jù)庫審核

當(dāng)數(shù)據(jù)庫新建或更新時，需要進(jìn)行數(shù)據(jù)庫審核，通常包含內(nèi)審和外審。

本數(shù)據(jù)庫內(nèi)審人員為北京協(xié)和醫(yī)院眼底專業(yè)副主任醫(yī)師及以上資質(zhì)人員。外審人員為來自全國10家三級甲等醫(yī)院具有豐富閱片經(jīng)驗的眼底專業(yè)主任醫(yī)師，1人擔(dān)任審核組長，9人參與閱片。按8%～10%的比例隨機抽取數(shù)據(jù)庫的圖片，進(jìn)行分組獨立閱片，數(shù)據(jù)庫既有的標(biāo)注結(jié)果與專家審核結(jié)果的Kappa值為審核標(biāo)準(zhǔn)。

本數(shù)據(jù)庫國際分期標(biāo)注結(jié)果與專家標(biāo)注結(jié)果一致性的Kappa值為0.968，一致性等級為“幾乎完全一致”。

4 數(shù)據(jù)庫測試與使用

人工智能軟件除滿足臨床試驗研究要求外，還需遵守國際標(biāo)準(zhǔn)化組織制定的人工智能研究標(biāo)準(zhǔn)化規(guī)范[1,5]。配合各人工智能軟件的不同預(yù)期用途，數(shù)據(jù)庫可排列組合成不同的子數(shù)據(jù)庫，以滿足各種DR人工智能系統(tǒng)的測試需求。

本數(shù)據(jù)庫的不同排列組合列舉如下：(1)有/無DR；(2)DR需要轉(zhuǎn)診/無需轉(zhuǎn)診；(3)DR國際分期(0期、1期、2期、3期、4期)；(4)有/無激光治療的DR；(5)合并/不合并其他病變的DR；(6)圖像質(zhì)量良好可以進(jìn)行標(biāo)注/質(zhì)量差無法標(biāo)注；(7)上述分類的各種組合。

5 數(shù)據(jù)庫日常管理

5.1 安全管理

數(shù)據(jù)庫安全管理需符合統(tǒng)一標(biāo)準(zhǔn)原則、全程管控原則、安全共享原則，確保數(shù)據(jù)庫的真實性、完整性、時效性。數(shù)據(jù)存儲、數(shù)據(jù)傳輸與數(shù)據(jù)使用由授權(quán)的指定人員操作并及時記錄。

5.2 更新管理

數(shù)據(jù)庫采用動態(tài)更新的方式以保證數(shù)據(jù)庫的科學(xué)性。根據(jù)真實世界研究結(jié)果及臨床實際需求，每年將動態(tài)更新通過國內(nèi)同行專家外審的1000張圖片。

5.3 文件管理

數(shù)據(jù)庫從計劃執(zhí)行到搭建至今，陸續(xù)形成了一套體系文件和記錄，規(guī)范了標(biāo)準(zhǔn)數(shù)據(jù)庫全生命周期的各項活動，如數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、標(biāo)注培訓(xùn)、數(shù)據(jù)安全、數(shù)據(jù)庫管理、數(shù)據(jù)庫審核等過程，并要求如實、及時完成相關(guān)記錄。

作者貢獻(xiàn)：陳有信為項目總負(fù)責(zé)人和總策劃；于偉泓負(fù)責(zé)數(shù)據(jù)庫的策劃與具體落實；張瀟、吳嬋、 陳歡、楊治坤、賀峰、張枝橋負(fù)責(zé)閱片與質(zhì)量控制；張碧磊, 鞏迪、王月麟、楊景元、李冰負(fù)責(zé)數(shù)據(jù)標(biāo)注；孫燕媛、馬亞靜負(fù)責(zé)數(shù)據(jù)庫管理與建庫過程記錄；陸慧琴、夏蔚、周偉、張東磊、潘慶敏、楊寧、王淑娜、孫曉蕾、遇穎、蘇暢、萬博、汪明啟、王敏負(fù)責(zé)真實世界數(shù)據(jù)收集。

利益沖突：無