智慧口腔正畸助手設計與原型實現

李 娜，郭 磊，王 杰，王玉玲，劉海英

（1.山東第一醫科大學第一附屬醫院/山東省千佛山醫院口腔醫學，山東 濟南 250014；2.山東第一醫科大學/山東省醫學科學院現代教育技術中心，山東 濟南 250014）

語音交互、圖像識別、機器人、專家系統是人工智能（artificial intelligence）領域的研究熱點。矩陣計算性能的大幅提升及深度學習技術的快速發展，為人工智能的應用奠定了堅實的技術基礎，并在醫學領域的研究與應用進展迅速[1，2]。口腔正畸診療周期長、復診次數多，病歷記錄復雜，牙齒模型測量分析、診療方案設計、效果模擬與動態調整專業性強，過度依賴醫生直接參與，智慧應用水平不高。人工智能在口腔正畸領域廣泛應用，可提高正畸診療的效率，提升醫患交互體驗，應用前景廣闊。本文主要對智慧口腔正畸助手設計與原型實現進行概述，以期為臨床應用提供參考。

1 需求分析

1.1 應用現狀 目前，口腔正畸診療智慧應用嚴重不足，主要表現為：①缺乏正畸專用信息系統，導致正畸病歷仍需手工記錄，患者影像、圖片、數字建模資料及病歷分散存儲，查詢分析效率低下；②缺乏智慧正畸方案設計與模型可視化應用，導致正畸模型測量、方案設計、弓絲彎制等仍需要全手工操作，測制精度不高，正畸效果可預見性差；③缺乏智慧醫患交互體驗應用，導致患者不能充分參與其診療過程，不能享有人工智能技術帶來的便捷智慧的就診體驗。

已有應用研究如語音電子病歷在口腔醫院的應用[3-5]、機器人輔助彎制正畸弓絲[6-8]、基于規則推理的專家系統用于診療方案設計[9]、口腔正畸模型的病歷管理、測量管理和專家系統[10-12]、具備智能提醒功能的口腔信息管理系統[13，14]，口腔修復全程信息化管理系統[15]等，為提升口腔正畸診療的自動化、智慧化水平進行了有益探索，但大都聚焦在人工智能技術應用的某一方面，缺乏對人工智能應用的系統性、整體性研究。

1.2 建設目標 近年來，隨著以深度學習為代表的人工智能技術飛速發展，傳統領域智慧賦能產生了很多創新性應用。本文設計了一款智慧口腔正畸助手，給出了分層可擴展的系統架構，列出了全應用場景，實現了核心系統原型，對人工智能技術在口腔正畸中的應用進行了全面的探索，以期為工業級的系統建設和應用推廣提供借鑒。

2 體系架構設計

此正畸智慧助手具有五層技術架構，分別是交互設備層、智慧應用服務層、語音交互與圖像處理引擎層、人工智能與大數據平臺層和信息技術基礎設施層，各層之間協同工作、輕耦合連接。智慧助手體系架構見圖1。

圖1 智慧助手體系架構

2.1 交互設備層 交互設備層是智慧助手與正畸醫生和患者溝通的媒介，負責文字、語音、圖片與影像信息的交互。智慧機器人是一個綜合交互式終端，除了支持語音交互與圖片影像顯示外，還支持隔空手勢操作，自帶的智能耗材柜可以根據指令自動打開，最大程度解放正畸醫生雙手。攝像掃描設備提供各類正畸圖片如正面像、正面微笑像、側面像等，也可掃描正畸模型。醫學影像采集設備自動采集患者X 光片及CT 片。移動終端（手機、PAD）、智能穿戴設備（手表、眼鏡等）也可用來完成語音交互與圖像采集。診室工作站提供診室相關數據快速存取、邊緣計算、網絡中繼等功能。

2.2 智慧應用服務層 智慧應用服務層提供智慧助手的核心服務功能，包括智慧問診、正畸方案智慧設計、輔助診療、診療周期智慧管理、病歷智慧管理等。

2.2.1 智慧問診 采用語音合成技術可以使智慧助手“克隆”醫生的音色，代替正畸醫生進行問診，在就診前即可完成患者個人情況、主訴及病史、正畸期望、復診原因等信息的采集；現場拍攝的X 光片、CT片、面像照片經圖像自動識別出圖像類型后存入對應患者的工作站數據庫中，不需手動命名分類識別。

2.2.2 正畸方案智慧設計 正畸模型經掃描儀、相機拍攝、三維CT 掃描等手段數字化，在進行圖像矯正與定點后，自動進行模型測量，得出牙列擁擠度、Bolton 指數、牙弓長度寬度等數據。自動分析數字化的X 線頭顱側位片得出牙頜面軟硬組織結構的角度、線距等測量值，并對牙頜面軟硬組織自動綜合測量分析。根據測量參數自動調用Bonwill-Hawley 方法繪制理想牙弓形態圖并打印，另根據弓形參數自動彎制特定型號的弓絲，以及不同正畸方案下牙齒三維動態演變與表征。

2.2.3 輔助診療 診療前同步對比患者面像和口內像，根據語音指令自動檢索患者不同時期的影像圖片進行對比分析，優化復診方案。此外，診療中智慧助手機器人可根據指令，將所需弓絲、鉗子等器械耗材送到醫生手中。

2.2.4 診療周期智慧管理 根據正畸方案智慧設計結果，調用工作流引擎，自動生成個性化正畸診療工作流程圖，每1 個流程節點代表一次診療活動，活動列表給出每次診療的日期、預計診療的內容、所需的正畸工具與耗材、預計診療所需時間與費用。預約管理可以根據流程執行狀態自動生成預約信息推送給醫生和患者。

2.2.5 病歷智慧管理 病歷智慧管理負責病歷智慧錄入、病歷檢索、病歷分析、病歷歸檔等功能。智慧錄入功能可通過智慧助手機器人、醫生智能手表、移動麥克風等設備采集醫生口述、醫患對話、患者自述等語音信息自動填充并生成病歷，診療與病歷記錄同步進行。病歷檢索、分析可根據醫生指令或手勢操作進行病歷檢索和對比分析。此外，病歷可直接歸檔到工作站與云中心，可自動打印生成紙質病歷和語音電子病歷。

2.3 語音交互與圖像處理引擎層

2.3.1 語音交互引擎 語音交互引擎可實現語音識別、自然語言處理、人機對話、語音合成等功能，且可通過口述指令如“小美、小美”喚醒智慧助手，醫生患者的語音數據首先通過語音識別模塊處理成文字；文字再經自然語言處理模塊識別成真實語義被智慧助手所理解，可以記錄成病歷，也可以作為醫生的某項指令執行。人機對話可以支持醫生與智慧助手之間的指令交互與病歷記錄，支持患者與智慧助手之間的自動問診、病歷查詢、診療效果互動展示等。同時，語音合成可以對特定醫生音色進行學習“克隆”，增強患者與智慧助手交互的真實情感。

2.3.2 圖像處理引擎 圖像處理引擎可實現人臉識別、圖像分類、參數測量、三維模擬等。人臉識別可根據初診采集的患者面部圖片信息實現患者自動識別，患者可“人臉”掛號復診、支付及與智慧助手交互。圖像分類可自動實現采集圖像的類型，如頭顱側位片、曲面斷層片、正面像、下頜像等的自動標簽分類。參數測量可根據三維模型、影像資料為正畸方案設計提供相關參數，也可根據側位片的脊柱關節形態確定骨齡。三維模擬可實現全診療周期牙齒三維模型動態可視化，提供給醫生、患者虛擬現實交互體驗，也可根據正畸方案參數調整實時模擬診療效果變化。

2.3.3 工作流引擎 流程設計可以自動生成診療流程圖、診療活動清單、定義活動輸入與約束；流程管控可實現對整個正畸過程的自動管理，正畸醫生可根據診療需要進行流程啟動、掛起、變更等操作；表單設計可根據每次診療活動的特點設計通用或個性化的病歷內容。流程交互支持主流程與子流程的協同，以及不同流程間的數據與任務共享。

2.4 人工智能與大數據處理平臺

2.4.1 深度學習 利用PaddlePaddle、TensorFlow、Pytorch 等開源平臺，為引擎層提供深度學習算法支持、模型訓練以及推理框架和基礎模型庫。在此基礎上，針對正畸專業和圖像影像特點，優化生成正畸專業模型庫，提高語音與圖像識別準確度。

2.4.2 大數據存儲與檢索 支持患者信息、診療信息、設備與耗材信息等結構化數據，電子病歷、面部照片、口腔影像等非結構化數據的分布式存儲，同時也支持診室工作站快速緩存檢索與云中心檢索，以及支持面向語音與圖片的智慧檢索。

2.4.3 云邊計算 支持邊緣計算和云計算雙模計算方式，部分輕量化圖像識別與語音計算模型部署在智慧助手機器人等終端設備上，提高系統響應速度，發揮終端設備計算能力，降低云中心負載。

2.5 信息技術基礎設施 信息技術基礎設施為系統提供計算與數據存儲功能，包括高性能GPU 集群，分布式數據庫與數據倉庫系統，高速存儲與容災備份系統。

3 系統原型實現

本研究實現了智慧助手的系統原型，包括多終端信息系統、語音識別引擎、人臉識別引擎。

3.1 多終端信息系統 實現多終端信息系統是智慧助手的基礎與核心。客戶端采用Python3.9 開發、PyQt5 渲染GUI 界面，移動端采用Android Studio 開發，后臺數據庫采用開源分布式MySQL 實現，見圖2。多終端信息系統主要功能包括患者管理、診斷與治療、病歷記錄與查詢、材料使用與庫存、系統管理等模塊，實現患者信息與口腔檢查結果采集與錄入、模型分析與影像測量結果采集與錄入、診斷與矯治計劃生成、病歷一鍵生成與打印、自動繪制Bonwill-Hawley 弓形圖等功能，見圖3。

圖2 智慧助手多終端信息系統

圖3 智慧助手自動繪制Bonwill-Hawley 弓形圖

3.2 語音識別引擎 實現語音識別采用基于深度學習平臺PaddlePaddle 的Deep Speech 2[16]，實現端到端自動語音識別[17]。計算采用NVIDIA CUDA[18]10.2平臺，訓練數據集分兩種，一種為openSLR 共享的Free ST American English Corpus、Free STChinese－MandarinCorpus、THCHS-30[19]、Aishell[20]等4 個通用數據集；一種為正畸專業數據集，選取10 份完整正畸病歷，由3 位正畸醫生在安靜房間內，分別閱讀病歷，同時使用Android 手機，以頻率16 kHz 錄制，每個短句生成一個音頻文件和一個腳本，每個病歷生成約150 個音頻文件和腳本文件。采用數據增強方法進行模型訓練，首先得到一個初步通用模型，然后用正畸專業數據集對初步模型進行遷移學習，最終生成正畸專業預測模型。最后進行模型驗證，由第4位醫生，在同樣條件下閱讀第11 份病歷，生成152個音頻文件和腳本文件，將音頻文件逐一導入預測模型輸出文本結果，對比對應的腳本文件，用字符錯誤率來評價模型的性能。

3.3 人臉識別引擎 實現人臉識別基于深度學習平臺PaddlePaddle 實現，計算采用NVIDIA CUDA[18]10.2 平臺。采用數據集包括CASIA-WebFace 基礎數據集和200 名患者的正面像和正面微笑像作為補充數據集，同時所有患者的正面像作為患者身份照存入注冊庫。首先對所有圖像進行裁剪、對齊、數據增強處理，然后采用殘差神經網絡[21]Resnet-101 進行模型訓練，模型輸出為人臉特征向量，同時將該特征向量存入對應的患者圖像注冊庫。當患者來就診時，通過智慧助手自動采集患者人臉圖像，調用預訓練模型得出人臉特征向量，逐一與注冊庫中患者特征向量進行比對，計算余弦相似度，余弦相似度大于0.9 視為同一患者。

4 應用效果

系統實現的語音識別與人臉識別兩大人工智能基礎引擎，識別成功率分別為91.5%、94.5%，可為人工智能技術全面應用提供基礎支撐。應用智慧病歷管理服務，醫生可快速查找患者診療記錄、綜合分析分析各類影像資料，動態調整診療方案，提高診療效果。應用輔助弓絲彎制服務可提高弓絲彎制精度，減少醫生測量耗時。采用多終端信息系統，就診患者進入診室就可在移動終端上交互式完成身份識別、基本信息與面部照片等信息錄入，大幅降低醫生問診時間，提升醫患交互體驗。

5 總結

本研究設計了一款正畸智慧助手，給出了其分層技術架構，詳細闡述了各層架構應提供的服務，同層之間內聚性強、相鄰層間松散耦合，設計合理便于擴展，同時實現了多終端信息系統、語音識別引擎、人臉識別引擎等技術架構部分核心系統原型。因實驗計算平臺性能限制，系統響應時間略長，但系統語音識別和人臉識別成功率高，能滿足實際業務需要。為進一步提升自動識別成功率和響應速度，設計并實現產品級的實體智慧助手機器人和可穿戴設備是下一步工作方向。