一種改進ROI模型的舌體紅外信息研究

張蕓凡,徐學軍,周賽明,楊 剛

(長沙理工大學 物理與電子科學學院,湖南 長沙 410114)

0 引 言

古人稱舌診為“舌鑒”,將舌象比喻成人體健康的一面鏡子,時刻顯示著人體的健康和疾病狀態,是因為人舌體的各個部位均與腑臟各部位相對應,且通過經絡運行相連通。其主要的規律為:舌尖主心肺,舌中部主脾胃,舌兩側主肝膽,舌根部主腎。舌診主要觀察舌質和舌苔的變化,舌質反映五臟精氣的盛衰,舌苔反映病邪的性質和病位的深淺。對于健康人群,舌質較舌苔在可見光條件下更不容易被觀察到。因此,為了更加清晰地觀察到舌質以及舌體的分區,提出了一種舌體紅外信息提取技術,來確保舌象信息的完整性和舌體分區的準確性,為中醫舌診的現代化提供有效方案。

現有圖像分割方法大約可以分為:傳統分割方法[1]、集合特定工具的圖像分割方法[2-4]、基于深度學習的分割方法[5-6]等。傳統分割方法中的圖像閾值分割方法[7]是現代圖像技術中最常用、最簡單的分割方法,它特別適用于目標和背景占據不同灰度級范圍的圖像[8],在一定區域、范圍內能夠實施有效的分割。除此之外,學者楊曉倩通過結合遺傳算法的全局搜索性能和區域生長法優化了snake模型[9]研究全局信息對圖像分割的影響,解決了傳統snake模型依賴初始點選取的問題,但計算過程有些復雜,而且收斂效果不太好。深度學習網絡(Visual Geometry Group Network,VGG)[10]、GoogLeNet[11-12]以及殘差網絡(Residual Network,ResNet)[13]的提出,證明了深度學習在圖像識別的能力都已接近甚至是超越了人類。2015年全卷積網絡(Fully Convolutional Networks,FCN)[14]開創了語義分割的先河,實現了像素級別的分類。但訓練一個網絡需要的數據庫非常龐大,同時網絡對目標物分割的準確性與獲得的訓練數據集的準確性有密切聯系。

1989年,天津中醫學院中醫研究所的張伯禮研究團隊[15]將熱物理現代測試技術與中醫研究相結合,建立了人體正常舌熱像圖及其溫度分布規律,發現舌體五個區域之間的平均溫度差異較為明顯。在這之后,上海中醫藥大學的李果剛等人[16]利用體表溫度信息、濕度以及舌中的溫度信息變化來探討慢性胃炎脾胃虛寒證與胃陰虧虛證患者的關系;山東中醫藥大學的劉黎青等人[17]研究了不同舌象糖尿病患者的紅外舌圖變化。這些方法都凸顯了熱紅外線能夠檢測到人眼不可視的信息,但沒能將舌體的區域溫度信息可視化。

基于訓練數據集的準確性和臟腑所對應舌體的區域溫度信息的劃分兩點問題的提出,該文改進了一種紅外感興趣區域(Region Of Interest,ROI)提取技術。首先,對載有溫度信息的舌體精準提取出來,并借助U-Net分割網絡將提取出的溫度信息進行訓練與學習,從而做到批量處理舌體溫度信息,再對模型截取出的舌體進行評價指標驗證,準確度可以達到0.991 1,驗證了算法的可靠性。最后,利用HSV色彩模型進行3D可視化,發現舌體不同區域的溫度差異很大,對比中醫舌診的臟腑分區發現,與之基本吻合,進而證明該提取技術不僅最大限度地避免曝光過度和密閉光暗環境的影響,使提取出的溫度信息具有更好的呈現性和穩定性,而且還將載有溫度信息的舌體精準同嘴唇、聲帶、牙床等干擾部位區分、割離,為中醫舌診的客觀化提供有利前提。

1 相關工作

1.1 改進的ROI模型及推導過程

一幅圖像可以定義為一個二維函數,每一個像素點都會對應一組(x,y)。而像素是用來定義數字圖像元素的術語,同時,這些元素可以組成一個矩陣,計算機對矩陣中的數值進行分析和計算,從而達到對數字圖像的處理。由于ROI算法簡單且快速,因此決定先利用多邊形ROI對圖片感興趣的區域進行提取,是在指定范圍內將顏色分類。首先要計算圖像像素矩陣的均值、標準差和協方差,如式1～式3所示。

(1)

(2)

(3)

其中,式1均值描述的是樣本集合的中間點,式2標準差描述的是樣本集合的各個樣本點到均值的距離的平均值,式3協方差是用來衡量兩個變量關系的統計量。

然后,使用歐幾里德距離進行彩色分割。式4表示歐幾里德距離的計算公式。

(4)

其中,z表示圖像空間中的任意一點,如果兩個點之間的距離小于指定閾值T,則z相似于m。z表示所選取的初始點,將選取的所有點連接起來,點所包含的范圍就是感興趣區域,點未包含的區域令其彩色值為黑色。從而達到將感興趣的部分提取出來的目的。

但是,經過簡單多邊形ROI提取的圖像,其邊緣會出現毛刺和鋸齒或信息缺失等問題,為解決這些問題,該文結合Bezier曲線和Graham's scan算法對建立的多邊形ROI模型進行改進。改進后的ROI模型能夠在不丟失圖像信息的條件下,令圖片提取部分的邊緣更加圓滑,為U-Net分割網絡學習的準確性提供保障。

Graham's scan算法是凸包算法中的一種。該算法表示在一個平面內有N個點,以其中一點為頂點記作P0,可以組成一個凸狀的多邊形,且這個多邊形恰好能夠包圍所有的點,如圖1(a)凸包檢測所示。

圖1 Graham's scan算法與Bezier曲線

Bezier曲線又稱為貝茲曲線或貝濟埃曲線,它由線段與節點組成,節點是可拖動的支點,可以依據n個位置任意的點坐標繪制出的一條光滑曲線,式5展示了Bezier曲線還具有遞歸性,可以看出只要移動一個控制點,整條的曲線都會發生變化,體現了算法本身的整體性。

(5)

Bezier曲線始終在包含了所有控制點的最小凸邊形中對其邊緣進行平滑處理,這樣處理圖片可能會出現信息丟失的情況,因此Graham's scan操作一定要在Bezier曲線平滑前面進行掃描。實驗發現,初始點選取的越多,對于Bezier曲線平滑的收斂性越好。

圖1(b)為Bezier曲線平滑的結果。

1.2 分割網絡的建立

為了更加高效、快速、批量地分割圖片,決定采用深度學習網絡來訓練通過改進ROI模型得到的圖片。

U-Net網絡結構如圖2所示。U-Net網絡是現存深度學習網絡中,最多被應用于醫學圖像處理方面的網絡。其具體的運作方式是:輸入一幅待處理的圖片,首先對圖片進行卷積操作;然后進行下采樣,在這個過程中,網絡對圖片中的重要信息進行提取、輸出,輸出的結果作為下一層的輸入,本次實驗構建的U-Net網絡對輸入圖片共進行四次下采樣操作;之后對經過下采樣的圖片進行反卷積操作;最后進行上采樣,此過程中,網絡對與之對稱的下采樣提取到的重要信息進行融合輸出,輸出的結果作為下一次上采樣的輸入。四次上采樣后,輸出最終的分割效果圖。

圖2 U-Net網絡結構

在構建神經網絡的過程中,由于神經網絡中每一層輸出都與上一層輸入呈線性關系,因此,為了給神經元引入非線性元素,常使用激活函數,使得神經網絡可以任意逼近任何非線性函數,從而應用到更多的非線性模型中。由于該文進行的研究只需要分離舌體和除舌體以外的其他部分,因此采用ReLU函數作為激活函數。該函數可以更加有效地處理梯度下降以及反向傳播過程,既避免了梯度爆炸和梯度消失問題,還可以大幅度地簡化計算過程。同時,因為過擬合的模型在進行分割后會出現信息丟失的問題,所以要保證構建的模型不要太復雜。

1.3 舌象溫度信息可視化彩色空間的建立

HSV色彩空間模式是通過色調H、飽和度S、明度V三個顏色參數描述圖片顏色。色調H是描述顏色色彩的參數,其度量單位為角度,取值范圍為0°到360°,從紅色開始按逆時針方向計算,紅色為0°,綠色為120°,藍色為240°。它們的補色分別為:黃色60°,青色180°,品紅300°;飽和度S表示顏色接近光譜色的程度。一種顏色可以看成是某種光譜色與白色混合的結果。其中光譜色所占的比例越大,顏色接近光譜色的程度越高,顏色的飽和度也越高。所以,飽和度越高,顏色越深。其中,光譜色的白光成分為0,此時飽和度處于最高值。通常取值范圍為0%到100%,S的值越大,顏色越飽和。明度V表示顏色明亮的程度,對于光源色,明度值與發光體的光亮度有關;對于物體色,V的值與物體的透射比、反射比有關。通常取值范圍為0%的黑色到100%的白色。

顏色空間模型如圖3所示。

圖3 顏色空間模型

圖3(a)是常見的RGB顏色空間模型,它是基于三原色混合得到的顏色模型。圖3(b)是HSV色彩空間模型,該結構在幾何形態上呈現椎體結構。式6～式8分別為RGB顏色空間轉化為HSV色彩空間的表達式。

(6)

(7)

v=max

(8)

其中,r,g,b分別表示在RGB色彩空間模型下紅色、綠色和藍色分量的坐標值,取值范圍在0到1之間。max表示r,g,b分量值中的最大值;min表示r,g,b分量值中的最小值。

圖4(a)是海康威視H10可視熱像儀自帶圖像處理軟件iVMS-4800中的RGB溫度梯度圖,可以看出溫度分層偏暗,且顏色跨度較大,這樣設置的梯度圖,會使舌體各區域溫度之間的色差過小,舌象溫度分區不明顯,無法明確區分舌象的對應區域。圖4(b)在HSV色彩空間的基礎上,將溫度梯度圖的顏色增亮、顏色跨度縮小,從而提高了溫度對比度,利用此溫度梯度設計得到的舌象3D可視化效果圖觀察到的舌象分區更加突出。

圖4 偽彩色編碼溫度梯度圖

2 文中方法

2.1 實驗步驟與流程圖

舌體表面溫度信息提取流程如圖5所示。實驗使用的紅外采集設備是海康威視H10可視熱像儀,該熱像儀自帶圖像處理的軟件iVMS-4800一定程度上為后續的分割提供了便利。對經過軟件簡化處理后的舌象溫度圖進行閾值分割、多邊形ROI提取,再借助U-Net分割網絡模型進行訓練學習,分離出只包含舌體表面溫度信息的部分,然后將其結果進行可視化。文章在最后利用評價指標對該分割方法的精確度進行了評估,并與分割后的圖像交互驗證,證明該分割模型的準確性符合醫學要求。

圖5 舌體表面溫度信息提取流程

2.2 舌體紅外信息采集

為消除舌苔對觀察舌質的影響,利用紅外線的熱效應和強穿透力來采集舌象能夠避免其帶來的局部影響,以便更直觀地觀察舌象溫度信息。圖6(a)、圖6(b)和圖6(c)分別代表25℃室溫條件下,同一時間段內弱光照、適當光照、強光照下的普通RGB舌象圖;圖6(d)、圖6(e)和圖6(f)分別代表25℃室溫條件下,同一時刻弱光照、適當光照、強光照下利用可視熱像儀在距離舌體25 cm～30 cm的位置處檢測得到的舌象溫度圖。對比其相應的灰度圖發現,同一溫度條件下,光照強度會對RGB舌象彩圖的像素信息影響非常大,而對舌象溫度圖則幾乎沒有影響,基本保留了舌象上完整的溫度信息。

圖6 不同光照強度下的舌象圖

2.3 圖像預處理

觀察圖7(a)發現,邊緣處溫度過低的綠色信息和牙床的白色信息是圖片中最為明顯的噪聲,為了去除這兩種主要干擾信息,利用閾值分割方法對圖像進行簡單的預處理,通過對閾值選取的不斷測試,選定(0,255,127)作為分割閾值對牙床部分進行初步處理,從而使牙床和舌體的差異性增強,同時將邊緣的綠色噪聲信息也一并抑制了。圖7(b)是經過閾值分割處理后的舌象溫度圖,可以觀察到,閾值分割方法將牙床部分的白色噪聲和邊緣處的綠色噪聲進行了閾值為(0,0,0)的染色處理,令其染色后的黑色信息部分與溫度圖片中原本的紅黃色信息部分產生了鮮明的色差,該預處理為之后的ROI特征提取提供了有力的前提。

圖7 閾值分割預處理

由于實驗對圖片預處理所選用的閾值分割方法是基于全局的,該方法只考慮到了直方圖供給的灰度信息,會忽略一些圖片空間上的位置細節。因此,在對圖像進行分割的閾值一定要選取的準確,根據圖片的差異性也要選取不同的閾值。這樣做在一定程度上避免了:相同直方圖下,不同圖像的問題。同時,對圖片沒有進行灰度值均衡化等操作,最大程度上保留了原圖像中的溫度信息,為研究舌象表面的溫度信息提供保障。

2.4 紅外信息的提取

先將2.2中預處理后的舌象溫度圖放入改進ROI模型中進行舌體提取,然后對舌體選擇(255,255,255)進行染色,其他部分則選擇(0,0,0)進行染色。如圖8(b),改進的ROI提取圖為最終的處理圖。

圖8 改進的ROI提取舌象標簽圖

如圖8所示,是利用Bezier曲線和Graham's scan算法相結合的方法,對舌象溫度信息提取技術訓練數據集的采集標簽圖。圖8(a)為普通多邊形ROI提取的舌象標簽分割圖,圖8(b)是采用該文改進過的多邊形ROI提取技術的對比圖。明顯觀察到,改進后的ROI提取技術對于舌象的邊緣提取更加平滑,且沒有信息缺失。

3 實驗結果與分析

3.1 實驗設備與數據

實驗采集設備為海康威視H10可視熱像儀,其響應頻率在7 μm～14 μm之間,其檢測范圍為-20 ℃～550 ℃;圖片的預處理軟件為iVMS-4800;實驗設備為Win10系統,GPU為GeForce RTX 3050,主機內存為16 GB;文中訓練U-Net分割網絡的環境為anaconda3。

舌象數據集中有927張為自己采集的舌象處理后的結果,280張為臨床適用舌像圖普[18]一書中的圖片,共計1 207張。圖9為部分數據集樣本。

圖9 數據集樣本

3.2 模型驗證與方法對比

為了驗證改進ROI分割模型的可視化效果,采用了交并比(Intersection Over Union,IOU)、錯誤分類誤差MisE(Misclassification Error,MisE)以及準確率(precision)等對其進行評估。

計算公式如下所示:

(9)

(10)

(11)

其中,TP表示將正樣本預測為正樣本,屬于正確的預測;FN表示將正樣本預測為負樣本,屬于錯誤的預測;FP表示將負樣本預測為正樣本,屬于錯誤的預測;TN表示將負樣本預測為負樣本,屬于正確的預測。其中,IOU與precision數值越高,證明網絡訓練的圖像分割效果越好;而MisE則是數值越小,網絡的訓練效果越好。

為測試改進模型分割效果的準確度,使用326張舌象測試圖片,借助評價網絡對福建中醫藥大學鐘振學者[19]處理得到的舌象數據、廈門大學楊大生學者改進的Snake方法[20]得到的舌象分割圖、中國科學院大學的馬龍祥[21]通過高分辨率特征分割到的舌像圖以及該文通過改進ROI模型分割得到的數據結果進行評估,利用指標評價,計算IOU、MisE和precision,比較所得結果如表1所示。

從表1對比中可以看出,通過該文改進的ROI提取方法所標記整理出的數據結果,準確率達到0.99,而錯誤分類誤差只有0.10,和常見的Snake分割方法相比較為準確,但與大量的醫學數據庫相比還有一些不足。通過評價指標的數據發現:將新采集到的舌象溫度圖輸入到訓練后的U-Net分割網絡中,其輸出對于舌體部分的提取效果準確度高,可視效果極佳。并且,此網絡對不同圖像進行分割訓練也具有較強的魯棒性。

3.3 實驗分析與可視化

從圖10直觀分析得到:U-Net網絡在通過改進ROI模型分割出的1 207張數據集的訓練之后,在新的分割處理任務中,能夠精準定位圖片中舌體的位置,并且有效地提取到只含有舌體溫度信息的部分。處理得到的舌象圖與中醫舌診要求下的舌象圖展現出較強的符合性。其中,圖10(a)為25℃室溫條件下,健康青年早上九時所采集到的舌象溫度圖;圖10(b)為訓練后的U-Net分割網絡進行處理后的舌象分割標簽圖;圖10(c)表示U-Net網絡分割之后的二維舌象信息可視化效果圖。

圖10 舌象分割的可視化效果

將圖10(c)舌象溫度信息可視化圖中的RGB分量轉化到改進后的HSV空間模型中進行3D可視化,令舌象上不同位置的溫度信息對比更加明顯,觀察更加直觀,效果如圖11所示。

圖11 舌象溫度信息3D可視效果圖

從圖11中可以明確地觀察到,舌尖部分、舌中部分、舌兩邊和舌根部的溫度信息有明顯差異,其各區域之間的溫度差異與天津中醫藥大學姜智浩等學者[22]實驗所得到的舌體溫度數據相符。而該舌體溫度信息的3D可視效果圖比圖10的二維舌象溫度分割圖更容易觀察到舌體表面各個部分的溫度差異,并且,其每個具有明顯溫度差異的部分與中醫中舌象的臟腑分區理論相符合。

4 結束語

根據舌象分割的可視化效果和舌象溫度信息3D可視化效果得出如下結論:改進后的ROI分割技術在經過U-Net網絡學習之后,對提取的舌體溫度信息具備準確度高,信息完整,可視化強,邊界清晰,不受可見光影響等特點。通過與傳統中醫診療手段的配合和分析,該技術能夠完整地為中醫舌診的舌形、舌質與舌苔問題的一體化處理提供理論支持和數據庫構建。能夠較好地實現中醫問題望診的數據化、現代化和科學化,應用前景廣泛,意義重大。