自然語言處理在醫學影像中的應用

馬帥， 王霄英

·影像信息學專題·

自然語言處理在醫學影像中的應用

馬帥， 王霄英

隨著計算機技術快速發展，與影像診斷密切相關的軟件研發有望超過傳統硬件成為影像信息學發展的主流，自然語言處理(NLP)作為新興技術在醫學影像領域表現出良好的應用前景。本文概述NLP原理及其在醫學影像中的應用，并對未來發展方向進行展望。

自然語言處理； 醫學標準術語； 文本挖掘； 結構化

醫學影像報告是電子健康病歷(electronic health record，EHR)中包含大量數字信息的重要組成部分。但影像報告多以自由文本形式出現在EHR中，這種非結構式數據不利于信息的提取和利用。由于對報告信息進行人工提取耗時且難于操作，所以自然語言處理(natural language processing，NLP)技術成為醫學影像報告信息化的重要工具[1]。NLP通過計算機智能分析自由文本，并自動完成數據挖掘任務，將人類自然語言翻譯成結構化形式[2]，從而有效地利用了報告中信息。本文概述NLP的原理及其在醫學影像中的應用，并對未來發展方向進行了展望。

NLP工作原理

NLP從自然語言數據中推導出規則和模型，將文本轉化為結構化的編碼信息，從而可進行快速查詢和分析。在NLP工作過程中涉及了語言學方法(如語法、語義和語境等)和統計方法。

雖然多種NLP的具體目標、技術、操作過程不盡相同，但主要工作原理基本相似，均可分為特征提取、特征加工、系統訓練和驗證幾個步驟，現分述如下。

1.特征提取

特征提取是指NLP分割文本、識別單個概念，并定義識別出的概念與其它醫學概念的關系，輸出結構式的數據。在特征提取過程中，先進行詞匯分割，再進行詞匯的語義分析。

按從大到小的尺度進行詞匯分割。先將整個影像報告分割為若干段落，再分為句子、詞組、詞匯。在詞匯層面上，判定詞根、糾正拼寫錯誤以及把縮略語擴充完整。

按從局部到整體的尺度進行詞匯的語義分析。詞匯的特征從局部到整體可分為：概念、詞典和知識體系(ontology，計算機術語為“本體”)。“概念(concept)”指的是每個詞匯被賦予的獨特含義(如某種疾病)。“詞典(lexicon)”指的是一組有相同含義的概念及其同意詞、衍生詞和相關術語等，如一體化醫學語言系統(unified medical language system，UMLS)詞典[3]或者RadLex詞典[4]。“知識體系(ontology)”指的是每個概念與其它不同概念之間的相互關系，如本概念對其它概念所起到的限定、修飾作用等，如SNOMED-CT。

通過特征提取，報告中的自然語言被分割為結構式的概念，且每個概念都被定義了與其它概念的關系，進一步用于后續的特征加工。

2.特征加工

判斷從報告中提取出的結構化數據是否包含目標概念，進而判斷能否通過提取出的數據推導出某種臨床結局。進行特征加工必須依據某種規則，通常有兩種生成規則的方法：一種是專家制定規則；另一種是通過統計或機器學習方法從數據中自動推導制定規則。也可以聯合制定規則，如先由機器學習產生規則，再由專家對其判斷和校正。無論何種方法進行特征加工，所設定的規則均應進行訓練和驗證，才可進一步應用。

3.系統訓練和驗證

完成特征加工后的系統，要進行訓練和驗證。在此過程中，應提供給系統足夠的分類“標準答案”。通常情況下，訓練時使用越大量的標準數據，并對其進行驗證，越可保證實際使用中系統的穩定運行。但考慮到訓練和驗證的成本，在實際操作中用于各類學習任務的訓練數據量可有一定差異，通常幾百例數據對于大部分任務是足夠的。

文獻報告NLP驗證的結果通常較好，在許多系統中其敏感度和特異度均超過90%。在不同軟件系統、不同應用目的、不同時間點進行測試，其性能未表現出明顯差異。

4.部分NLP相關資源

近年來，不同機構發布了多種NLP工具[1-2]，其目的、任務有所不同，可根據不同的研究目的來選用，具體見表1。

NLP臨床應用概述

根據信息提取的對象和目的不同，NLP可用于患者個體信息分析、患者群體信息分析和醫學影像流程信息分析等。

1.患者個體影像診斷信息提取和分析，對患者個體疾病處理提供幫助

提示“危急發現(critical findings)”：NLP檢出影像報告中描述的、可能導致嚴重后果的影像征象，提醒處理該患者的醫師注意[5]。目前NLP可提示的危急情況有闌尾炎、急性肺損傷、肺炎、血栓栓塞性疾病及各類潛在惡性病變等[6]。如NLP在報告中發現危急情況，會提示影像醫師及時與臨床醫師交流。

提示隨訪建議：NLP檢出報告中應提示臨床進行后續操作的內容，自動生成隨訪建議，提示后續檢查或治療[7]。

注：ACR = American College of Radiology，美國放射學會；BI-RADS = Breast Imaging-Reporting and Data System，乳腺影像報告與數據系統；BROK=BI-RADS Observation Kit，乳腺影像報告與數據系統觀察工具；cTAKES = Apache clinical Text Analysis and Knowledge Extraction System，Apache臨床文本分析及知識提取系統；GATE = General Architecture for Text Engineering，文本設計的整體構建；HOST = Extensible Human Oracle Suite of Tools，可拓展人類Oracle套件；LEXIMER = Lexicon Mediated Entropy Reduction，詞典介導的熵約簡；NLM=National Library of Medicine，美國國家醫學圖書館；MedLEE = Medical Language Extraction and Encoding System，醫學語言提取和編碼系統；MALLET = Machine Learning for Language Toolkit，機器學習語言工具包；MEDINA = Medical Information Anonymization，醫學信息匿名化；UIMA = Unstructured Information Management applications，非結構化信息管理應用；UMLS = Unified Medical Language System，一體化醫學語言系統；WEKA = Waikato Environment for Knowledge Analysis，懷卡托智能分析環境系統。

提示偶然發現[8]：利用機器學習分類器可檢出有臨床意義的偶然發現，避免臨床醫生忽略該發現而造成延遲診治[9]。

檢查報告中的邏輯錯誤：根據預先設定好的邏輯，可檢出有明確邏輯矛盾的內容，提示報告醫師是否可能為誤讀、誤判或誤操作。

2.患者群體影像診斷信息提取和分析，構建患者隊列，用于流行病學研究、行政管理等

流行病學研究隊列的構建：使用NLP可高效率地分析大數量、患者群體的影像報告，得到群體的特征性數據。使用傳統方法構建流行病學研究患者隊列，需耗費大量時間和人力才能篩選出合適病例，而NLP可提高流行病學研究效率，為循證影像醫學研究提供幫助[11-15]。

在醫院或社會群體水平監控公共衛生情況：NLP可用于評估區域健康情況[10]。利用從圖像中提取的群體NLP特征值和其它結構化電子病歷數據來監控公共健康水平，進行決策分析[16-17]。

3.醫學影像流程信息的提取和分析，用于醫學影像報告質量評價和改進

報告質量評價和報告規范的建立：NLP可識別醫學影像學的流程和質量指標，判斷影像報告是否符合相關指南或診斷規則[18]。對大量影像報告中的海量數據進行自動內容分析可反映影像科日常工作運行情況。目前NLP系統已可用于評價報告的完整性和規范性，是否給出正確的建議，是否及時進行危急情況的預警，報告信息是否用于疾病的診斷等方面[5,19-21]。利用NLP結果，對建立報告規范可起到指導作用。

醫師個人表現評價和改進建議：NLP可針對醫師完成報告的表現進行評價，用于診斷醫師個人的質量評價[22-23]。在對診斷醫師表現進行評判的基礎上提出改進建議[24]。

影像檢查全流程的改進：NLP可對各類影像的綜合信息進行分析，將報告中的檢查結果和建議等信息與全面的臨床信息相互關聯，如檢查適應證、疾病種類、患者年齡、性別、申請科室、申請醫師及患者類型(住院或門診)等[25]。這種大規模的數據分析在經過驗證后，可得到預測模型，形成適合本地情況的臨床決策支持系統(clinical decision support system，CDSS)，應可應用到計算機醫囑系統(computerized physician order entry，CPOE)中去[26]，對影像檢查從申請開始、到臨床應用結束的全過程進行高質量、高效率和標準化的管理。

行政和財務方面的應用：NLP可將影像報告結論自動匹配到醫療編碼系統(比如將影像報告結論和ICD-10編碼實現自動匹配)，對于醫政管理、財務及決策制定等工作有幫助[27]。

NLP應用中分析

醫學影像中使用NLP的總體目標是挖掘診斷報告中結構化信息，并將其應用于臨床診治過程。盡管應用目的多種多樣，但目前大部分NLP系統都用于判定影像報告中是否包含了特定影像學發現(如某疾病表現或特定發現)[28]。NLP的主要優勢就是自動化，減少甚至免除人工審閱報告的精力并實現對大量數據資料的評估，因此之前難于操作的任務如今也能輕松實現。NLP的另一個優勢是可對影像報告書寫過程進行監測，直接對診斷或臨床醫師提出建議。

但NLP實際應用中尚待解決的問題仍很多，主要有以下幾點。①NLP雖有不少臨床應用案例，但基本上仍處于初步探索階段，關鍵性問題尚待解決。NLP中各類技術指標的確定，并非由臨床需求本身決定，而是取決于醫療機構可獲得的技術工具，特別是NLP系統開發者的專業知識和業務水平。客觀地講，NLP仍處于概念驗證階段，對實際臨床問題的解決效能、以及解決問題所帶來的實際臨床價值，尚未獲得足夠的證據支持。②NLP處理信息的規則不明晰，使得NLP不易被接受。在特征分析過程中，如使用了專家制定的規則，則較易于被理解，其結論也易于被使用者所接受。但如果使用了機器學習方法，系統的邏輯規則是由計算機系統通過數據分析得到的，這個過程很復雜，不可能明確說明其內在邏輯，此時臨床醫師常常不愿意接受自動算法的結果。③原始影像報告未達標準化，也使得NLP結果不易推廣。在傳統工作模式下，影像報告的書寫與醫師個人知識、工作習慣有關，也與本單位的規則、管理要求等有關，但目前多數報告尚不符合標準化要求，對NLP的應用效果造成不利影響[29]。實際上，報告本身的標準化并不是主要困難，整個影像鏈的非標準化造成了NLP應用更大的困難。只有遵循全影像鏈的規范化標準操作，NLP的結果才能最終得到推廣普及。

NLP未來發展方向

在影像工作過程中，亟待進一步研發和探索NLP更有價值的臨床應用：從一系列影像報告中自動做出疾病病程的評價；挖掘臨床信息與影像信息的內在聯系；對影像報告的綜合結果進行編碼，用于特定患者的隊列構建，進行病歷自動審核功能等。NLP系統不僅可用于影像報告生成之后，還應在報告生成過程中直接對報告提供幫助，輔助影像醫師更加高效、高質量、規范化地書寫報告；將診斷報告中的結構式信息與相關指南和臨床信息進行關聯，自動提供處理建議等。

在臨床工作過程中，NLP應把其它相關醫學信息與影像信息整合，使影像工作從檢查申請開始、到臨床發布過程中都明顯受益，如：NLP在海量電子病歷信息中識別出某些臨床診斷和臨床需求，將這些信息提供給影像醫師，使得影像檢查開始之前即可明確檢查目的，使檢查全過程的效率和質量都得到明顯提高。

總之，隨著NLP在醫學應用中的推廣，這項技術手段將進入到醫學影像常規工作中，其價值也將會逐漸被發現和確認。以NLP為代表的信息學工具的使用，終將改變醫學影像工作的流程、效率和質量，使醫學影像工作模式因此而發生明顯的轉變。

[1] Cai T，Giannopoulos AA，Yu S，et al.Natural language processing technologies in radiology research and clinical applications[J].Radiographics,2016,36(1):176-191.

[2] Pons E，Braun LM，Hunink MG，et al.Natural language processing in radiology：a systematic review[J].Radiology,2016,279(2):329-343.

[3] U.S.National Library of Medicine.Unified Medical Language System (UMLS)[D/OL].July 29,2016.http://www.nlm.nih.gov/research/umls/.

[4] Radiological Society of North America.RadLex[D/OL].2016 October 10.http://www.rsna.org/RadLex.aspx. Accessed，.

[5] Lakhani P，Kim W，Langlotz CP.Automated extraction of critical test values and communications from unstructured radiology reports:an analysis of 9.3 million reports from 1990 to 2011[J].Radiology,2012,265(3):809-818.

[6] Chapman WW，Fizman M，Chapman BE，et al.A comparison of classification algorithms to automatically identify chest X-ray reports that support pneumonia[J].J Biomed Inform,2001,34(1):4-14.

[7] Zingmond D，Lenert LA.Monitoring freetext data using medical language processing[J].Comput Biomed Res,1993,26(5):467-481.

[8] 杜婧，王霄英.ACR關于腹盆部檢查中偶然發現的處理原則[J].放射學實踐,2015,30(12):1225-1231.

[9] Dutta S，Long WJ，Brown DF，et al.Automated detection using natural language processing of radiologists recommendations for additional imaging of incidental findings[J].Ann Emerg Med,2013,62(2):162-169.

[10] Liu V，Clark MP，Mendoza M，et al.Automated identification of pneumonia in chest radiograph reports in critically ill patients[J].BMC Med Inform DecisMak,2013,13(90):1-8.

[11] Sada Y，Hou J，Richardson P，et al.Validation of case finding algorithms for hepatocellular cancer from administrative data and electronic health records using natural language processing[J].Med Care,2016,54(2):9-14.

[12] Carrell DS，Halgrim S，Tran DT，et al.Using natural language processing to improve efficiency of manual chart abstraction in research: the case of breast cancer recurrence[J].Am J Epide-miol,2014,179(6):749-758.

[13] Do BH，Wu A，Biswal S，Kamaya A，et al.Informatics in radiology:RADTF-a semantic search-enabled，natural language processor-generated radiology teaching file[J].RadioGraphics,2010,30(7):2039-2048.

[14] Chang EK，Yu CY，Clarke R，et al.Defining a patient population with cirrhosis:an automated algorithm with natural language processing[J].J Clin Gastroenterol,2016，50(10)：889-894.

[15] Masino AJ，Grundmeier RW，Pennington JW，et al.Temporal bone radiology report classification using open source machine learning and natural langue processinglibraries[J/OL].BMC Med Inform Decis Mak,2016,16:65.DOI:10.1186/S12911-016-0306-3.

[16] Pham AD，Névéol A，Lavergne T，et al.Natural language processing of radiology reports for the detection of thromboembolic diseases and clinically relevant incidental findings[J/OL].BMC Bioinformatics,2014,15(1):266.DOI:10.1186/1471-2105-15-266.

[17] Jensen PB，Jensen LJ，Brunak S.Mining electronic health records:towards better research applications and clinical care[J].Nat Rev Genet,2012,13(6):395-405.

[18] Dutta S，Long WJ，Brown DF，et al.Automated detection using natural language processing of radiologists recommendations for additional imaging of incidental findings[J].Ann Emerg Med,2013,62(2):162-169.

[19] Ip IK，Mortele KJ，Prevedello LM，et al.Focal cystic pancreatic lesions：assessing variation in radiologists' management recommendations[J].Radiology,2011,259(1):136-141.

[20] Duszak R，Nossal M，Schofield L，et al.Physician documentation deficiencies in abdominal ultrasound reports：frequency，characteristics and financial impact[J].J Am Coll Radiol,2012,9(6):403-408.

[21] Ip IK，Mortele KJ，PrevedelloLM，et al.Repeat abdominal imaging examinations in a tertiary care hospital[J].Am J Med，2012,125(2):155-161.

[22] 杜婧，王霄英.ACR影像報告及數據系統介紹[J].放射學實踐,2016,31(4):331-335.

[23] Dreyer KJ，Kalra MK，Maher MM，et al.Application of recently developed computer algorithm for automatic classification of unstructured radiology reports:validation study[J].Radiology,2005,234(2):323-329.

[24] Sevenster M，Bozeman J，Cowhy A，et al.A natural language processing pipeline for pairing measurements uniquely across free-text CT reports[J].J Biomed Inform,2015,53(1):36-48.

[25] Dang PA，Kalra MK，Blake MA，et al.Natural language proces-sing using online analytic processing for assessing recommendations in radiology reports[J].J Am Coll Radiol,2008,5(3):197-204.

[26] Patel TA，Puppala M，Ogunti RO，et al.Correlating mammographic and pathologic findings in clinical decision support using natural language processing and data mining methods[J].Can-cer,2016 Aug 29.doi:10.1002/cncr.30245.

[27] Farkas R，Szarvas G.Automatic construction of rule-based ICD-9-CM coding systems[J/OL].BMC Bioinformatics,2008，9(Suppl 3):S10.DOI:10.1186/1471-2105-9-S3-S10.

[28] Sevenster M，Buurman J，Liu P，et al.Natural language proces-sing techniques for extracting and categorizing finding measurements in narrative radiology reports[J].Appl Clin Inform,2015,6(3):600-610.

[29] 秦岫波，王蕊，高歌，等.前列腺多參數MRI報告進展：基于第2版前列腺影像報告和數據系統的結構式報告的構建[J].腫瘤影像學,2016,25(2):111-116.

100034 北京，北京大學第一醫院醫學影像科

馬帥(1987-)，男，山東慶云人，博士研究生，主要從事影像診斷研究工作。

王霄英，E-mail：cjr.wangxiaoying@vip.163.com

R814.41； R814.42； R445.2

A

1000-0313(2016)12-1120-04

10.13609/j.cnki.1000-0313.2016.12.002

2016-10-20

2016-11-05)