醫療智能語音識別系統的建設與應用

丁中正 常翀 曹凱迪 郭建軍 王忠民

（南京醫科大學第一附屬醫院（江蘇省人民醫院）信息處 江蘇省南京市 210029）

1 前言

隨著國內醫療信息化建設的不斷發展，在國家政策的支持下，人工智能技術不斷的發展和探索，為智能語音識別技術的在醫療系統領域的使用提供了可能。2017 年12 月，國家衛健委印發的《醫院信息化建設應用技術指引》中，明確了人工智能技術在醫院可開展疾病風險預測、醫療影像輔助診斷、臨床輔助診療智能健康管理、醫院智能管理，虛擬助理等6 大種類應用建設[1]，推動了醫院智能化的發展。

以電子病歷為核心的醫院信息系統逐漸推廣應用，例如門診、住院電子病歷、移動護理、手術交接、影像、心電等相關子系統得到不斷完善，集成平臺的建設使用促進了醫院信息共享，醫護人員需要手動錄入的信息越來越多，病程記錄、手術記錄、護理記錄等[2]。據調查統計，超過40%的醫生每天病歷錄入需要花費約4 小時，超過一半的醫生每天進行文字錄入的時間占醫療工作總時間的40%[3]。由于日益增長的就診量而導致的重復勞動工作問題，醫療語音識別系統的建設顯得尤為重要。

1.1 國內外應用現狀

國外語音技術起步較早，起源于上個世紀五十年代，Davis 在貝爾實驗室構建了首個可以識別10 個英語單字節字母發音的系統。二十世紀之后，美國的Nuance、Google 和Amazon 等公司的語音識別軟件的準確率有了較高水平。我國也出現了百度語音、云知聲、科大訊飛等語音識別公司[4]，2017 年科大訊飛公司與中國醫學科學院北京協和醫學院簽署全面戰略合作框架協議，科大訊飛的口腔科語音電子病歷系統在北京協和醫院正式投入使用，之后越來越多的醫院開始使用語音識別產品。隨著語音識別技術的逐步推廣，系統成熟度越來越高，日常對話識別率已達到97%，方便了在臨床推廣使用。

2 醫療智能語音關鍵技術研究

某醫院所應用的醫療智能語音主要是在參照海量醫學文本數據的基礎上，通過借助已經構建好的醫療大數據軟件平臺和硬件平臺，并綜合利用云計算技術、物聯網技術、人工智能技術等先進技術，開展相關訓練工作，從而構建出醫療智能語音識別模型，該模型完全符合各大醫療行業的應用需求。對于醫療智能語音識別系統而言，在具體的設計中，主要采用了分布式架構，將大型任務進行分解處理，從而形成若干個小任務，然后，對這些小任務進行并行處理，不僅最大限度地提高整個系統的運行性能，還實現了對語音服務流程的有效簡化，為用戶帶來良好的使用體驗。

2.1 構建具有醫院特色的醫學語音資料庫

對于語音數據庫而言，其內部的一部分語音資料主要是在全面收集、整理已有語音數據的基礎上獲得的，這些數據主要包含以下兩大類型，一類是基礎語音數據，另一類是醫學語音數據。另一部分語音資料主要是醫院現有大量醫療文本，這些資料主要由以下幾個部分組成，分別是臨床電子病歷、各種檢查記錄等。這些資料在具體的存儲期間，主要采用文本信息標注的方式，將其全部標注為漢語拼音，從而實現對其安全化、可靠化存儲。

2.2 融合語音識別處理技術

融合語音識別處理技術主要用于對相關語音信號的采集、預處理。該技術主要包含以下幾種：

（1）語音信號數字化即數字編碼技術。該技術主要用于對自然語音信號的轉換處理，使其轉換為相應的數字信號，然后，采用數據編碼壓縮的方式，對這些語音信號進行壓縮處理，以達到降低數據量和反應時間，使得系統服務效率和效果 得以全面提升。

（2）語音檢測技術。該技術主要用于對數字信號的檢測，從而檢測出以下兩種結果，一種是語音信號段，另一種是噪聲段，然后，根據最終的檢測結果，精確地分析和判斷用戶語音當前所處的狀態，該狀態主要包含開始狀態和結束狀態，然后，獲得相應的語音信息。

（3）語音信號提取技術。通過利用該技術，可以實現對相關特征的提取，然后，將語音直接轉化為相應的語音特征矢量序列，然后，利用識別引擎，采用矢量分析的方式，對語音特征進行分析，以達到解決和處理口音識別效率低、操作難度等問題。

2.3 建立具有自主學習能力的語義庫

語義庫在具體的構建中，通常會涉及到以下三個環節：

（1）醫療語音 模型建立。在建立醫療語音模型期間，需要在參照隱馬爾夫模型語言訓練結果，完成對相關醫療信息的規范化、定制化處理，從而形成滿足各大醫療應用需求的信息語音 模型。

（2）語義理解規則構建。語義理解規則在具體的構建中，主要在充分利用大量通用文本數據和醫療語言模型的基礎上，開展深度優化工作，從而形成一套系統、完善的語義規則。

（3）個性化數據優化。在對個性化數據進行優化期間，要根據醫院當前所收集和存儲的相關數據，通過利用深度神經網絡學習技術，對文本資料進行深度學習，從而最大限度地 提高個性化數據的完整性、真實性和精性。

3 醫療智能語音系統設計

3.1 系統整體設計目標

對于醫療智能語音識別系統而言，其設計目標為：根據臨床使用需求，研發出智能語音識別功能、相關數據交互功能等功能，便于醫護人員采用語音識別的方式，自動、高效地錄入海量病歷文本信息，同時，還能幫助醫護人員利用語音調取的方式，實現對患者病歷信息、圖像信息的查詢、交互和處理，為促進醫療行業向智能化、數字化、信息化方向不斷發展提供重要的平臺支持 。

3.2 系統架構組成

系統架構在具體的設計中，需要針對醫院現有業務量，在保證系統性能穩定性的基礎上，利用兩臺服務器，對數據庫內數據進行緩存處理，從而確保整個系統始終處于穩定、高效的狀態。該系統工作流程為：通過在醫院內部麥克風安裝和固定相應的語音裝置，以實現對相關信息的采集和整理，同時，還要利用客戶端，對整理好的語音編碼進行統一化壓縮處理，并發送相應的語音 識別請求，該請求在實際的傳輸期間，首先，要通過以下兩個設備，分別是 防火墻、交換機，然后，利用均衡器，實現對相關架構的搭建，以達到智能化切換均衡器的目的，從而進一步 提高系統的運行性能。此外，通過利用主負載均衡器，采用動態化分配的方式，將語音 識別請求合理分配到路由器服務器上，由該服務器負責對這些數據的預處理和認證，接著，將該請求安全、可靠地傳輸于相應內存數據庫中，最后，采用動態化分配的方式 ，將其科學地分配到語音識別服務器上，緩解語音服務器的運行壓力，使得服務器運行變得更加高效。另外，通過借助系統語音 功能，可以實現對相關數據的錄入和輸出，并將這些數據安全、可靠地存儲于系統數據庫中，然后，從該數據庫中獲取相應的最小使用頻率的數據。用戶在對這些數據進行訪問期間，要先對數據庫內的數據進行訪問，如果數據庫內存在用戶想要訪問的數據，那么系統會自動將相關數據直接反饋給用戶，反之，系統將不予返回處理。對于內存數據庫而言，無論其內部是否保存相應的數據，用戶都要從語音 服務器中，實現對相關數據的訪問和獲取。總之，通過運用以上流程，可以確保相關數據獲取的全面性、完整性和高效性。另外，通過利用語音 識別系統，可以框獲取和整理好的數據直接傳輸到客戶端，由客戶端利用語音 數據日志，將相關數據直接傳輸并保存于關系型數據庫中。

3.3 系統功能設計

3.3.1 電子病歷與檢查報告智能語音錄入

該功能在具體的設計中，需要在充分結合門診、醫技報告工作站的基礎上，對醫生說話內容進行轉換處理，使其轉換為文字信息，然后，將這些文字信息錄入到指定的門診病歷中。語音錄入系統功能還對常規編輯命令起到了一定的增刪改查作用，同時，也對光標移動、文字換行以及文字撤銷等復雜操作起到了一定的支持作用。

3.3.2 移動護理智能語音錄入

該功能在具體的設計中，主要利用護理工作站，采用集成處理的方式 ，借助PDA，對護士說話內容進行轉換處理，使其轉換為相應的文字信息，并將其錄入到指定的護理信息系統中。對于大量的文本信息而言，其錄入情況與檢查報告、電子病歷錄入功能具有一定的的相似性，此外，還對護理表格數據的錄入也提供了強大的支持，護理類表格數據主要包含血壓數據、脈搏數據和呼吸數據等。

3.3.3 非接觸式智能語音數據交互

該功能在具體的設計中，技術人員 要根據醫院當前所面臨的非接觸醫療環境，通過語音 功能，全面化、高效化獲取和整理非接觸式數據。臨床醫生采用口述的方式，就可以向系統中自動錄入檢索條件，此時，系統會將最終的檢索結果反饋給醫生，然后，與其他各個工作站之間建立起良好的連接關系，以實現對相關信息的有效交互，為保證獲取檢索條件相關數據的全面性、完整性和真實性提供重要的依據和參考。檢索條件相關數據主要包含以下幾種，分別是患者基本信息、患者檢查報告信息以及影像信息等。

4 系統構建策略

醫護人員使用語音錄入方式書寫電子病歷，目前國內外的一些醫療機構開始逐步使用。在醫療領域中，實現智能語音識別仍存在諸多技術難點，比如環境嘈雜、醫學專業術語復雜、需滿足不同語速和方言口音的使用者等[5]。針對醫療語音識別的技術難點，我院采取了如下建設措施：

4.1 構建醫療語音云平臺

醫療語音云平臺是應用于院內智能語音輸入服務的基礎平臺，以云服務的方式為應用終端提供多路并發的語音識別、自然語言理解等高質量語音交互服務。使用自然語言處理和機器學習技術，基于海量的醫療文本數據，用于系統模型的訓練，定制符合醫療場景使用的語言識別模型[7]，客戶端采用串聯鏈路式架構接入到服務端語音云引擎，滿足我院醫療級應用的可靠性、可用性要求。同時，通過集成標準的SDK 控件，可為我院現有系統集成提供便捷、高效的開發環境。

4.2 軟硬結合降噪，提高語音識別準確率

針對醫務人員嘈雜環境下工作，采取源頭降噪措施，通過專業級指向性麥克風，配以四麥陣列降噪算法，提高帶噪語音的識別正確率；此外，針對在語音信號處理過程中的噪音，一方面對干凈的語音進行加噪，并與干凈語音一起進行混合訓練，不斷提高模型對于帶噪語音的魯棒性；另一方面，使用基于深度回歸神經網絡進行降噪，從噪聲干擾的復雜性出發，利用深度神經網絡這種非線性模型對帶噪音頻和純凈音頻間的映射關系進行建模，并實現對音色轉換后音頻的降噪，進一步提高帶噪語音識別準確率。

4.3 優化方言口音識別

針對我院方言口音重的部分醫護人員，采集針對性的語音訓練集，前期進行精細化的標注，后續在醫護人員不斷使用過程中，基于無監督自學習技術持續自主優化，同時加以人工干預，不斷優化。方言口音的識別效果逐漸越來越準確，從而有效改善方言口音識別問題。

4.4 深度定制醫學術語庫

針對各科室業務進行梳理，整理超過100G 的醫學訓練文本用于模型訓練，達到百萬級醫學術語庫，涵蓋醫學院普通高等教育教材、各專科病例、中英文臨床指南以及其他醫學文獻資料，此外還有大量視頻和語音資料。基于海量的文本數據，和數據訓練語言模型，做深度的自適應優化，保證專科術語識別準確率。

4.5 個性化詞匯替換定制

對于中文同音字，各科室醫生可根據自己的使用習慣，在客戶端添加自己常用詞匯，實現個性化替換處理，比如腦梗塞（nao3geng3se4、nao3geng3sai1）。有些詞為了容錯，增加一些醫護人員已經習慣的錯誤發音，如：氯化鈉（lv4hua4na4、lu4hua4na4）等。

此外，通過使用泛化特征并結合雙向長短時記憶網絡建模技術，系統自動剔除識別結果中的停頓詞、語氣詞、重復詞，使文本更適于正常閱讀，真正達到臨床實用水平。醫療智能語音輸入系統架構如圖1 所示。

圖1：醫療智能語音輸入系統架構

5 應用效果

5.1 應用現狀

目前，系統已在我院婦科門診、內分泌科門診、門診神經科、門診內鏡中心、心血管內科、腫瘤科、護理部等近20 個科室進行使用。其中，門診部和護理部使用率較高。在門診醫生使用中，主要用于門診半結構化的電子病歷書寫，針對一些操作電腦不便捷，通過該系統的使用，解決了使用電腦打字速度慢，患者等待時間較長問題，把醫生更多的時間還給患者；護理人員錄入臨床患者描述性的護理項目，直接口述即可，減少護理人員記錄次數；此外內鏡中心書寫報告已上線科室使用醫生表示：系統語音識別準確率平均達到96%以上，超過80%的醫生認為語音識別技術每天可節約40%～60%的病歷錄入時間，有效降低工作強度，減輕工作量；尤其對長段信息、自由文本錄入的效果明顯。從總體上提高醫院處理患者信息的能力，同時縮短患者無效等待時間，增加患者滿意度。

5.2 建設成效

目前，通過醫療智能語音輸入系統建設，語音錄入病歷效果最高可達400 字/分鐘，識別準確率突破98%；常用標點符號可在病歷中自動生成，準確率達90%以上；醫學符號公式可自動識別成書面規范表達，例如：口述“血壓130，85 毫米汞柱”，即輸入血壓130/85mmHg；“體溫37點8 攝氏度”，即輸入體溫37.8℃；此外，用戶級個性化詞匯替換功能，讓醫護人員在英文自動大小寫、長文本內容簡述、習慣用詞等方面體驗到前所未有的靈活便捷。

部分科室已上線使用，從2020 年7 月到12 月的五個月的數據來看，如圖2，日常使用語音系統的頻次逐步提高，錄入總字數在57 萬多。在醫護工作站安裝醫療輸入法及智能輸入終端，為醫護人員提供語音快速錄入的能力，提高各科室在多場景下的病歷錄入效率，降低醫護人員電子文書的書寫壓力，為院內全面數字化提供工具支撐。

圖2：7-12 月份系統使用情況

6 系統存在的不足

在國內“互聯網+”的背景下，采用“人工智能”理念與技術，創新智能交互服務模式，不斷增強醫院信息化頂層設計能力，是著眼于我國衛生健康事業的長遠發展，解決當前面臨的突出矛盾和難點問題，推進整體信息化建設的重要手段和可行途徑。眾所周知，語音識別是目前發展最為成熟的人機交互方式，它能夠讓機器通過識別和理解過程，把語音信號轉變為對應的電子文本或命令，實現了自然語音的文字轉寫[6]。系統在一定程度上方便了臨床醫護人員的工作，但仍然存在一些問題。系統仍然存在一定的局限性，一是醫生工作習慣較難改變，由傳統的鍵盤錄入改為語音方式錄入，仍然需要一定的時間適應，醫生需要一個培訓和系統磨合使用的過程。二是不方便使用，部分專科的電子病歷結構化程度高，模板的使用相對語音錄入更便捷，部分醫生習慣使用模板錄入信息，操作更方便[7]。三是患者信息的安全，患者的隱私信息變得越來越重要，醫院有責任和義務保護患者的隱私信息，醫生擔心在公共場合下通過“說”會泄露患者隱私信息，影響患者就醫體驗；四是醫學專業性，檢驗、檢測科室使用的一些醫療特殊單位，醫療特殊符號沒有辦法錄入，影響使用效率。五是全面應用較困難。醫生在語音書寫病歷時，仍需要手動完成簡單命令操作，如：模板調用、內容刪改、表格填寫、文件保存等，不能完全脫離鍵盤使用[8]；此外，部分住院專科病歷結構化程度較高，如下拉框、復選框、單選框方式寫病歷，傳統手工和語音方式來回切換，影響錄入效率。五是移交數據有待優化。對于部分醫院而言，現有數據標簽設置存在不規范、不標準、不統一問題，造成用戶利用系統語音功能無法獲取比較全面、系統的信息數據。這就要求技術人員 要加強對醫院數據質量的優化和提高，確保整個信息數據獲得的全面性、高效性和真實性。總之，本文所構建的醫療智能語音識別系統 盡管取得了一定的應用成效，但是仍然存在以上不足問題，技術人員 要再接再厲，針對這些不足問題，對系統功能進行改進和優化。

7 結束語

綜上所述 ，本文所設計的醫療智能語音識別系統 功能強大、適用性強，便于醫護人員利用該系統快速錄入語音內容，提高相關文字錄入的效率和效果，完全符合各大醫療應用需求。由此可見，醫療智能語音識別系統具有非常高的應用價值和應用前景，值得被進一步 推廣和應用。