基于B/S架構的新生兒疼痛面容圖像標注系統研發

易俊儒 諶紹林 鄧仁麗 朱南希 林 晶 江孝川 宋佳美 陳月華 詹昕凌 潘秋丹

·醫學信息技術·

基于B/S架構的新生兒疼痛面容圖像標注系統研發

易俊儒1諶紹林2鄧仁麗2朱南希2林 晶3江孝川3宋佳美2陳月華1詹昕凌2潘秋丹1

1.湖南醫藥學院護理學院，湖南懷化 418000；2.遵義醫科大學附屬醫院護理部，貴州遵義 563000；3.懷化學院計算機學院，湖南懷化 418000

構建基于瀏覽器/服務器（browser/server，B/S）架構的新生兒疼痛面容圖像標注系統（neonatal pain face image labeling system，NPFILS），評價其質量及效果。采集2019年9月至2020年9月在湖南醫藥學院附屬醫院產科住院接受足跟采血操作的新生兒疼痛面容視頻，基于B/S架構構建NPFILS；20名新生兒科護士先后使用labelImg和NPFILS對新生兒疼痛面容圖像進行標注，比較兩種標注系統精確率、召回率及系統使用用戶體驗評分（system usability scale，SUS）。NPFILS與labelImg標注系統的模型混淆矩陣精確率分別為（0.882±0.1120.853±0.128）、召回率分別為（0.735±0.0980.741±0.075），差異無統計學意義（>0.05）。新生兒疼痛面容圖像標注系統的用戶體驗評分明顯高于labelImg系統，差異有統計學意義（72.500±3.53526.667±6.831，<0.05）。NPFILS標注質量高，用戶體驗評分高于labelImg系統，為新生兒疼痛圖像標注工作提供了一種快捷、標準化的新系統。

新生兒疼痛；新生兒疼痛面容；圖像標注系統；機器學習

新生兒反復接受致痛性操作所產生的疼痛不僅會引起其生命體征和內環境紊亂，影響新生兒生長發育，還會影響其大腦神經系統發育，導致運動功能或認知功能障礙[1,2]。準確識別新生兒疼痛，對及時有效采取鎮痛措施至關重要。但由于新生兒無法使用語言表達疼痛，醫護人員常用較復雜的量表對其進行評估，操作復雜、費時，且可能存在一定的主觀性，臨床依從性低，識別不及時。因此，智能化新生兒疼痛評估系統研發是一種創新的研究方向。但新生兒疼痛評估研發需自制標注數據集，需要巨大的人力及物力[3]。目前通用的標注系統有labelImg和計算機視覺標注工具（cvision annotation t，CVAT）。LabelImg主要使用python及lxml包開發，有豐富的數據集類型支持，但數據集管理較困難[4]；CVAT是由opencv開發的一款網頁標注工具，用Docker技術來部署，可通過瀏覽器訪問標注，具有一定的半自動標注功能[5]，但上述工具存在三個突出問題：①系統缺乏中文界面，功能復雜，臨床標注者難以熟練操作，耽誤數據集構建進度。②系統缺乏數據預處理功能，標注目標圖像中存在復雜背景環境，干擾標注者注意力，不利于數據集標注質量提升。③在目標檢測標注工作中，需標注者手動框選標注對象并賦予標簽，造成極大的工作負擔，而不同標注者對框選范圍可能存在判定標準差異，一定程度上影響了數據采集的標準化。因此，本團隊針對新生兒疼痛面容數據標注的需求，設計并實現了一套基于瀏覽器/服務器（browser/server，B/S）架構的新生兒疼痛面容圖像標注系統（neonatal pain face image labeling system，NPFILS），克服了上述缺點，大幅度降低工作負擔，提升了標注數據集質量，現報道如下。

1 資料與方法

1.1 臨床資料

將2019年9月至2020年9月在湖南醫藥學院附屬醫院產科住院的接受常規足跟采血操作的新生兒作為視頻采集對象。納入標準：①在湖南醫藥學院附屬醫院產科住院的接受足跟采血操作的健康新生兒；②在足跟采血操作中，新生兒面部編碼系統（neonatal facial coding system，NFCS）疼痛評分達滿分9分者；③家長同意參與本研究并簽訂知情同意書。排除標準：①在足跟采血操作中，NFCS疼痛評分未達滿分9分者；②家長不愿參與該研究。本臨床試驗嚴格遵守赫爾辛基宣言的人體醫學研究倫理準則、中國有關臨床試驗法規和計算機倫理學原則進行，已經醫學倫理委員會批準（倫理審批號：2019-010-001）。由于新生兒無自主意識，因此，尊重新生兒監護人知情同意權，且研究經新生兒監護人同意并簽訂知情同意書。

1.2 方法

1.2.1 新生兒疼痛面容視頻采集過程 使用一組100°夾角無畸變雙目攝像頭模組，在距離受試嬰兒面部40～60cm處拍攝分辨率為720×1280，幀速率為30.00幀/s的視頻。拍攝內容為新生兒足跟采血所致疼痛面容（操作前半分鐘至操作后2min或啼哭停止），均在沐浴后進行。操作前安慰新生兒，使其保持安靜狀態；不包裹，使其肢體能自由活動。視頻采集對象開發團隊經多次技術研討和專家咨詢，基于數據標注基本流程構建新生兒疼痛面容圖像標注系統，包括預處理、標注、存儲三個模塊。

①預處理模塊：從臨床采集新生兒疼痛面容后，系統對采集到的原始數據進行自動預處理。通過視頻流分析預實驗中標注和神經網絡訓練等過程中存在的問題，制定一套原始數據質量控制模式，即從光照環境、動態模糊情況、面部區域像素密度、面部遮蓋百分比等方面自動篩選原始新生兒面容圖片。并利用openface2.0框架構建了一系列自動化預處理邏輯[6]，即利用68個面部特征點對原始圖像的基本情況進行檢測，從視頻流中抽取的靜態圖像經方向矯正、截取、映射等步驟進行歸一，最終生成尺寸為120px×120px的標準化圖像。見圖1。

圖1 預處理模塊運行效果示意圖

圖2 標注模塊運行效果示意圖

②標注模塊：以NFCS為依據開發標注模塊，NFCS是從a皺眉；b擠眼；c鼻唇溝加深；d張口；e嘴垂直伸展；f嘴水平伸展；g舌呈杯狀；h下頜顫動；i嘴呈“O”形等九項表現進行評價，每項1分，滿分10分，具有良好的信效度[7,8]，標注模塊依據上述條目分別賦值。將上述指標與圖像、文字、色塊等元素組合，構成簡潔的用戶標注界面。標注者只需根據圖片中新生兒面部表情情況，點擊按鈕，即可完成標注工作。基于標注化圖像的標注結果投影至由關鍵幀生成的靜態圖片，生成包含結果標簽的目標檢測標注框，見圖2，最終參考PASCALVOC2007數據集的相關規范將標注結果寫入xml文件進行存儲[9]。

③存儲模塊：利用本地機房中的網絡附加存儲與公有云服務商提供的對象存儲服務及云數據庫相組合[10]，建立異地存儲災備系統，對標注系統數據定期備份，并能在意外情況下及時恢復數據，縮短標注工作中斷時間。

1.2.2 新生兒疼痛面容圖像數據標注系統構建 ①建立多學科系統開發團隊 該團隊由軟件工程和護理專業人員組成，共27人，其中軟件工程、護理專業副教授各1人，護理信息護士1名、軟件工程師2名，新生兒科護士22人。護理副教授負責研發工作及總體管理，軟件工程副教授負責開發技術指導及質量監督，護理信息護士負責系統總體架構設計，軟件工程師負責各模塊功能實現；2名護士負責收集整理新生兒疼痛面容數據庫，20名護士參與標注系統測試。

1.3 NPFILS的效果評價

1.3.1 標注者基本情況 20名經系統的新生兒疼痛評估理論與臨床實踐學習的新生兒科護士為參與測試的標注人員，測試前均接受同質化的標注系統培訓，經考核合格。

1.3.2 測試方法 在完成系統設計及部署后，將前述臨床采集的新生兒疼痛視頻流作為原始數據集，向系統內隨機放入10段新生兒疼痛視頻流，從中隨機抽取1681張圖像，標注者先使用市面主流的標注系統LabelImg對數據集進行標注，間隔14d后再使用NPFILS進行標注。

1.3.3 評價指標及方法 ①數據集標注質量：用該系統產生的數據集在YOLOv5（You Only Look Once v5）神經網絡中訓練的模型的預測性能（精確率和召回率）來判斷。YOLOv5是一種由UltralyticsLLC公司基于Pytorch實現并開源的目標檢測神經網絡模型，是當前目標檢測領域應用廣泛的神經網絡算法之一，同時具有較快的收斂速度[11]。通過公式計算模型性能的精確率、召回率。②用戶體驗評分：標注者在完成上述兩種系統標注后，使用系統可用性量表（system usability scale，SUS）對用戶體驗進行評分。SUS量表由Brooke于1986年編制，其題目簡單，易于理解與實施[12]，共10題，其中奇數項為正面陳述，偶數項為反面陳述。采用Likert5級評分，1非常不同意，5非常同意。計分方法：奇數題項：=（?1）×2.5，偶數題項：=（5?）×2.5；總分100分，70分為合格，具有良好的信效度，其中Cronbach系數為0.91[13]。

1.4 新生兒疼痛面容圖像標注系統數據集標注質量

將20名護士使用LabelImg和NPFILS標注的新生兒疼痛面容圖像數據集，分別設定為數據集A和數據集B。在相同的參數與環境下，分別以數據集A和數據集B作為輸入，用YOLOv5神經網絡模型進行訓練，具體訓練批次大小為16，訓練總輪次為300，初始學習率為e-1，分別得模型A和模型B。

1.5 統計學方法

2 結果

2.1 兩種模型精準率與召回率比較

兩模型混淆矩陣見圖3、4。兩種標注系統分別輸出的模型A和模型B的混淆矩陣精確率，差異無統計學意義（>0.05），見表1。

表1 模型A-模型B精確率、召回率比較（，%）

2.2 標注者使用兩種系統的SUS評分比較

標注者使用LabelImg的SUS結果顯示，在“我愿意使用這個產品”“我認為這個產品用起來很容易”“我發現產品里的各項功能很好的整合在一起”三個條目中均無人選“非常同意”；85.0%的護士同意“我發現這個產品過于復雜”；85.0%的標注者非常同意“我認為這個產品用起來很麻煩”“在使用這個產品前，需進行大量的學習”，見表2。

使用NPFILS的SUS結果顯示，有85.0%和100%標注者同意“我認為這個產品用起來很容易”、“使用這個產品時我充滿信心”；所有標注者均不同意“我發現產品中有很多不一致的地方”，見表2。

標注者使用NPFILS系統的SUS明顯高于labelImg系統，差異有統計學意義（72.500±3.53526.667±6.831，=–13.499，<0.001）。

表2 LabelImg系統用戶體驗評分描述性分析結果[n（%）]

圖3 模型A的混淆矩陣

圖4 模型B的混淆矩陣

3 討論

LabelImg系統輸出的模型A及NPFILS系統輸出的模型B的精確率分別高達85%和88%，召回率分別為（0.73±0.09）、（0.74±0.07），差異無統計學意義（＞0.05），說明兩種標注系統質量相似，均較好。而影響新生兒疼痛面容圖像標注質量的主要因素為標注者疼痛評估能力、標注的像素點、框選范圍、圖像的背景環境等，如OccamsRazo[14]、pACNN[15]、CVAT等典型面部識別標注系統缺乏數據預處理功能，標注目標圖像中存在的復雜背景環境會干擾標注者注意力，導致標注精確率下降，數據集標注質量不高。在常規標注工作中，需標注者手動框選標注對象并賦予標簽，工作負擔大，而不同標注者對框選范圍可能判定標準不同，一定程度上影響了數據集的標準化[16]。NPFILS系統從光照環境、動態模糊情況、面部區域像素密度、面部遮蓋百分比等方面自動篩選原始圖片，減少了復雜背景環境對標注工作的影響；此外，還利用68個面部特征點檢測原始圖像，并經方向矯正、截取、映射等步驟進行幾何歸一，最終輸出標準化圖像，大大減少了人工標注的工作量及誤差，確保了標注數據的質量。

本文中，NPFILS標注系統的用戶體驗評分均值遠高于LabelImg系統（72.500±3.53526.667±6.831，<0.05）。標注者認為LabelImg系統過于復雜，使用很麻煩，需要大量的學習或專業人員幫助才能熟練使用。分析其原因可能是LabelImg系統缺乏中文界面，且需標注者手動框選標注對象并賦予標簽，手動標注致標注效率低下，工作負擔大。而NPFILS系統將所需指標與圖像、文字、色塊等元素組合，構成簡潔的全中文板塊用戶標注界面；自動識別系統使操作更加簡便快捷，標注者只需根據圖片中新生兒面部表情情況，點擊按鈕，即可完成標注工作，顯著降低了圖像標注工作的繁瑣程度；異地存儲災備系統對標注系統中以圖片為主的非結構數據和以標注結果為主的結構化數據進行定期備份，能快速恢復數據，縮短標注工作中斷時間，從而提高用戶體驗評分。

綜上所述，NPFILS系統具備高質量數據集標注功能，為今后新生兒疼痛評估及系統智能化管理研發，提供了一種新的圖像標注工具。

[1] Walker SM. Long-term effects of neonatal pain[J]. Semin Fetal Neonatal Med, 2019, 24(4): 101005.

[2] 王亞靜, 李楊, 孫靜, 等. 新生兒重癥監護病房患兒操作性疼痛現狀調查[J]. 護理學雜志, 2019, 34(11): 20–23.

[3] 蔡飛. 基于三維卷積神經網絡的新生兒疼痛表情識別[D].南京: 南京郵電大學, 2018.

[4] 王振華, 李靜, 張鑫月, 等. 面向視頻數據的深度學習目標識別算法綜述[J]. 計算機工程, 2022, 48(4): 1–15.

[5] Sekachev B, Manovich N, Zhavoronkov A. Computer vision annotation tool: a universal approach to data annotation[J]. Intel [Internet], 2019, 1.

[6] Baltrusaitis T, Robinson P, Morencyl-P. Openface: An open source facial behavior analysis toolkit[C]// 2016 IEEE Winter Conference on Applications of Computer Vision (WACV) [J]. IEEE, 2016: 1–10.

[7] Kappesser J, De Laffolie J, Faas D, et al. Comparison of two neonatal pain assessment tools (children and infant's postoperative pain scale and the neonatal facial coding system-respectfully yours, evised) and their relations to clinicians' intuitive pain estimates[J]. Eur J Pain, 2019, 23(4): 708–718.

[8] 程銳, 楊洋, 史源, 等. 新生兒疼痛評估與鎮痛管理專家共識（2020版）[J]. 中國當代兒科雜志, 2020, 22(9): 923–930.

[9] Everingham M, Eslami S M, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. Int jour com vis, 2015, 111(1): 98–136.

[10] 胡建平. 新一代醫院數據中心建設指導[J]. 中國衛生信息管理雜志, 2020, 17(5): 695.

[11] Thuan D. Evolution of Yolo algorithm and Yolov5: The State-of-the-Art object detention algorithm[D]. Oulu University of Applied Sciences, 2021: 1301–1361.

[12] Baumgartner J, Ruettgers N, Hasler A, et al. Questionnaire experience and the hybrid system usability scale: using a novel concept to evaluate a new instrument[J]. Int J Hum Comput Stud, 2020, 147(1): 102575.

[13] 王宇暉. 系統可用性量表在感知可用性縱向研究中的改進和應用[D]. 武漢: 華中科技大學, 2020.

[14] Vielzeuf V, Kervadec C, Pateux S, et al. An occam's razor view on learning audiovisual emotion recognition with small training sets[C]// 2018: 589–593.

[15] Li Y, Zeng J, Shan S, et al. Occlusion aware facial expression recognition using CNN with attention mechanism[J].IEEE Trans Image Process, 2018, 28(5): 2439–2450.

[16] 陳哲, 黃巍, 陳昭. 基于Web應用的醫學圖像半自動標注系統[J]. 計算機應用與軟件, 2019, 36(10): 1–5.

Development of Neonatal Pain Face Image Labeling System based on B/S architecture

YI Junru CHEN Shaolin DENG Renli ZHU Nanxi LIN Jing JIANG Xiaochuan SONG Jiamei CHEN Yuehua ZHAN Xinling PAN Qiudan

1.School of Nursing, Hunan University of Medicine, Hunan, Huaihua 418000, China; 2.Department of Nursing, Affiliated hospital of Zunyi Medical University, Guizhou, Zunyi 563000, China; 3.School of Computing, Huaihua University, Hunan, Huaihua 418000, China

To construct a neonatal pain face image labeling system (NPFILS) based on B/S architecture and evaluate its quality and effect.Newborns’painful facial videos were collected when they were hospitalized in the obstetrics department of the Affiliated Hospital of Hunan Medical University from September 2019 to September 2020 and underwent heel puncture blood collection. The NPFILS constructed is based on B/S architecture. 20 neonatal nurses labeled 1681 neonatal pain face photoes which were randomly selected both by labelImg system and NPFILS. The annotation accuracy, recall rate and system usability scale (SUS) were compared between the two systems.The accuracy of the model confusion matrix of the NPFILS and the labelImg annotation system were (0.882±0.1120.853±0.128,>0.05) and the recall rates were (0.735±0.0980.741±0.075,>0.05) respectively, and there were no statistical differences between two systems. The user score of SUS of NPFILS was significantly higher than that of labelImg system (72.500±3.53526.667±6.831,<0.05).NPFILS has high annotation quality and higher user SUS score than of labelImg system, which provides a fast and standardized new system for neonatal pain image annotation.

Neonatal pain; Neonatal pain face image; Image labeling system; Machine learning

R47-05

A

1673–9701(2022)36–0096–05

湖南省教育廳科學研究基金優秀青年項目（19B404）；珠海市產學研合作項目（ZH22017001210019PWC）

諶紹林，電子信箱：30363284@qq.com

（2022–08–16）

（2022–09–20）