基于多特征融合的中醫(yī)舌像檢索研究

摘 要:以中醫(yī)舌像為研究對(duì)象，針對(duì)單一特征無法很好表述舌像的缺點(diǎn)，提出了基于多特征融合的中醫(yī)舌像檢索方法以提高中醫(yī)舌像的識(shí)別率。由于檢索結(jié)果的排序直接關(guān)系到整個(gè)系統(tǒng)的性能，重點(diǎn)研究了在訓(xùn)練集上學(xué)習(xí)一組合理的多特征融合參數(shù)來提高排序性能，從而達(dá)到提高中醫(yī)舌像識(shí)別率的目的。該算法以最小化預(yù)測排序與目標(biāo)排序之間的反序?qū)閮?yōu)化目標(biāo)，最終得出一個(gè)有效的排序?qū)W習(xí)算法。在該舌圖像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。

關(guān)鍵詞:特征融合; 中醫(yī); 舌像檢索

中圖法分類號(hào):TP391.41

文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001-3695(2010)02-0791-03

doi:10.3969/j.issn.1001-3695.2010.02.110

Study on tongue image retrieval based on multi-feature fusion

LIU Hong， WANG Ye， LEI Chang-hai

( Center of Network Information， Second Military Medical University， Shanghai 200433， China)

Abstract: This paper used tongue images as study object， as the shortcomings of single feature couldn’t describe efficiently the information of the tongue images，proposed a traditional Chinese medical tongue images retrieval method based on multi-feature fusion to improve the recognition rate of tongue images.Since the results ranking was an important issue in the field of information retrieval， focused on learning a set of reasonable parameters of the multi-feature fusion to improve retrieval performance on the training set， thus to improve the recognition rate of traditional Chinese medicine tongue images. The optimization target of this algorithm minimized the number of the anti-order between prediction rank and true rank. Finally， worked out an effective rank learning algorithm. The experimental results on the tongue image set verify the effectiveness of the algorithm.

Key words:multi-features fusion; traditional Chinese medical; tongue image retrieval

0 引言

舌像是中醫(yī)四診中不可缺或少的重要的客觀指標(biāo)之一，蘊(yùn)涵著豐富的疾病信息。舌像診斷是獲取病人健康狀況的一種非常重要的途徑，不但可以揭示定性病變、病變部位、局部病變程度，還可以提出該病變對(duì)五臟六腑功能及整個(gè)身體機(jī)能盛衰的影響，并提出應(yīng)采用的治療手段與方法。然而，在中國幾千年來通過中醫(yī)舌診診斷疾病的歷史中，醫(yī)生的個(gè)人經(jīng)驗(yàn)起著關(guān)鍵性的作用。從現(xiàn)代技術(shù)發(fā)展的角度來看，這是一種原始的、缺乏客觀性的方法。大多數(shù)的舌像診斷經(jīng)驗(yàn)不能科學(xué)和量化地保留，既不利于中醫(yī)治療技術(shù)的流傳，也不利于病人的診斷歷史查詢。

圖像檢索在20世紀(jì)70年代以來便成為一個(gè)非常活躍的研究領(lǐng)域。隨著醫(yī)學(xué)數(shù)字化影像設(shè)備在臨床工作中日益廣泛的應(yīng)用，大量的醫(yī)學(xué)圖像數(shù)據(jù)隨之產(chǎn)生。傳統(tǒng)的醫(yī)學(xué)檔案管理系統(tǒng)采用簡單的基于標(biāo)注的圖像數(shù)據(jù)庫甚至完全人工的方法來管理圖像數(shù)據(jù)，嚴(yán)重影響了圖像在診斷過程中作用的發(fā)揮。如何有效地組織、管理和檢索醫(yī)學(xué)圖像成為當(dāng)前迫切需要解決的問題。基于內(nèi)容的圖像檢索技術(shù)(content-based image retrieval，CBIR)是利用圖像的視覺特征來進(jìn)行檢索，直接對(duì)圖像內(nèi)容進(jìn)行分析并抽取特征，在臨床、教學(xué)、科研以及醫(yī)學(xué)圖像歸檔和通信系統(tǒng)(PACS)中都有著重要的作用。

本文以中醫(yī)舌像為研究對(duì)象，以中醫(yī)理論為指導(dǎo)，運(yùn)用計(jì)算機(jī)視覺理論與圖像識(shí)別技術(shù)，通過對(duì)舌像色彩、紋理和形狀等信息進(jìn)行檢測分析，建立舌像的計(jì)算機(jī)客觀化識(shí)別方法。通過對(duì)大量舌像圖譜庫的檢索，對(duì)其自動(dòng)提取的特征進(jìn)行比較，以達(dá)到判斷出舌像類別的目的，并能以此對(duì)用戶的健康狀況給出合理的建議。由于單一特征無法完整描述舌像的特征，本文提出了基于多特征融合的中醫(yī)舌像檢索方法以提高中醫(yī)舌像的識(shí)別率。由此帶來的問題是如何獲取一組有效的特征融合參數(shù)，本文重點(diǎn)研究了在訓(xùn)練集上學(xué)習(xí)一組合理的多特征融合參數(shù)來提高排序性能，從而達(dá)到提高中醫(yī)舌像識(shí)別率的目的。該算法以最小化預(yù)測排序與目標(biāo)排序之間的反序?qū)閮?yōu)化目標(biāo)，最終得出一個(gè)有效的排序?qū)W習(xí)算法，并在舌圖像數(shù)據(jù)集上驗(yàn)證了該算法的有效性。

1 舌圖像的特征抽取

中醫(yī)所說的舌或舌質(zhì)，指的是舌本體;舌苔指的是附生于舌質(zhì)之上的一層物質(zhì);舌形指的是舌的形狀、紋理等靜態(tài)性質(zhì)。臨床上的舌像變化錯(cuò)綜復(fù)雜，但是不外乎舌色、舌形、舌質(zhì)等幾個(gè)方面。從圖像處理技術(shù)的角度來看，基于內(nèi)容的舌像檢索主要是利用舌圖像的色彩、紋理、邊緣和幾何形狀等特征來執(zhí)行的。

1.1舌圖像顏色特征的提取

舌像的顏色是舌診最基本的內(nèi)容。結(jié)合臨床研究，可以將舌色分為淡白、淡紅、紅絳、暗紅、紫紅、淡紫、青紫等。人對(duì)顏色的判別是一個(gè)非常復(fù)雜的過程，涉及到光學(xué)、光化學(xué)、視覺生理、視覺心理等多方面的問題，不同的人的辨色能力必然存在細(xì)微的甚至很大的差別。而計(jì)算機(jī)的辨色是一個(gè)很客觀的過程，可以根據(jù)中醫(yī)病癥舌像的色度學(xué)參數(shù)測定和分析來確定舌色采用的顏色空間為RGB、HIS或CIE的Lab顏色空間;然后根據(jù)這些空間下的顏色特征參數(shù)進(jìn)行匹配檢索。本系統(tǒng)采用的顏色特征有HSV顏色直方圖、顏色結(jié)構(gòu)描述子(color structure descriptor，CSD)和顏色布局描述子(color layoutdescriptor，CLD)。

1.2 舌圖像紋理特征的提取

圖像的紋理特征是一種不依賴于顏色或亮度的反映圖像中同質(zhì)現(xiàn)象的視覺特征，它是物體表面共有的內(nèi)在特性。圖像的紋理與尺度有關(guān)，不同尺度下人對(duì)紋理的感受不同。紋理特征包含了物體表面結(jié)構(gòu)組織排列的重要信息以及它們與周圍環(huán)境的聯(lián)系。正因?yàn)槿绱耍y理特征在基于內(nèi)容的圖像檢索中得到了廣泛的應(yīng)用。在中醫(yī)診斷過程中，除了對(duì)舌色辨別外，還必須對(duì)舌質(zhì)進(jìn)行分析和判斷。舌質(zhì)的老嫩、齒痕、裂紋、燥潤、淤斑、點(diǎn)刺等特征就可以歸為紋理分析的范疇。人舌像的紋理一般沒有規(guī)則可循，均采用統(tǒng)計(jì)的方法。這類方法主要有:基于二階灰度統(tǒng)計(jì)特征的統(tǒng)計(jì)方法、紋理特征的共生矩陣表示;采用高斯馬爾可夫隨機(jī)場(Gaussian Markov random field，GMRF)模型的方法;采用Gabor函數(shù)或小波理論來進(jìn)行紋理分析的方法。本系統(tǒng)采用的紋理特征有同質(zhì)紋理描述子(homogeneous texture descriptor，HTD)、Gabor紋理特征和邊緣直方圖。

1.3舌圖像的形狀特征

物體和區(qū)域的形狀是圖像表達(dá)和圖像檢索中的另一項(xiàng)重要的特征。但不同于顏色或紋理等底層特征，形狀特征的表達(dá)必須以對(duì)圖像中物體或區(qū)域的劃分為基礎(chǔ)。由于當(dāng)前的技術(shù)無法做到準(zhǔn)確而魯棒的自動(dòng)圖像分割，圖像檢索中的形狀特征只能用于某些特殊應(yīng)用。基于形狀的舌像檢索是通過計(jì)算出要搜尋舌像的形狀特征，并把它與存儲(chǔ)在舌像庫中的舌像形狀特征比較，從而得到最接近的舌像作為搜索結(jié)果。由于人對(duì)物體形狀的變換、旋轉(zhuǎn)和縮放主觀上不太敏感，許多形狀特征所反映的目標(biāo)形狀信息與人的直觀感覺不完全一致，或者說，特征空間的相似性與人視覺系統(tǒng)感受到的相似性有區(qū)別。形狀特征對(duì)于舌像來說是不太穩(wěn)定的特征，在本文中不考慮采用形狀特征作為檢索特征。但筆者在另外的一個(gè)對(duì)舌像進(jìn)行分類的研究項(xiàng)目中采用了形狀特征。

2 基于排序優(yōu)化的多舌像特征的融合

實(shí)驗(yàn)表明單一特征很難有效地描述舌像的特征，因此，本文提出了基于多特征融合的中醫(yī)舌像檢索方法以提高中醫(yī)舌像的識(shí)別率。為了敘述方便，本文先對(duì)一些基本概念和術(shù)語作如下定義:

a)文檔。信息檢索中的基本單元。在本文的舌像檢索中，一個(gè)文檔對(duì)應(yīng)于一幅舌圖像。

b)查詢集合Q={q1， …， qt， …， qMQ}，qt代表一幅查詢舌像。

c)檢索集合D={d1， …， dt， …， dMD}。D+q代表與查詢q的相關(guān)文檔集合，M+D代表對(duì)應(yīng)集合D+q的文檔數(shù);D-q代表查詢q的不相關(guān)文檔集合，M-D代表對(duì)應(yīng)集合D-q的文檔數(shù)。

d)特征包。每一個(gè)查詢文檔q和文檔d產(chǎn)生一個(gè)特征包fi(d， q)， i = 1，…，N。 在本文的研究中，舌圖像的特征使用了全局的底層特征，如顏色、紋理、形狀等。

檢索結(jié)果的排序是信息檢索領(lǐng)域中的一個(gè)重要問題。一些經(jīng)典的文獻(xiàn)，如文獻(xiàn)[1~5]均對(duì)此作了重要的闡述。從形式上來講，一個(gè)排序是定義在弱序列屬性集D×D上的一個(gè)二元關(guān)系。檢索系統(tǒng)的目標(biāo)是查找一個(gè)排序函數(shù)rf去逼近一個(gè)最佳排序r，這里的rf意味著文檔按檢索函數(shù)f(di， q)進(jìn)行降序排列。因此，優(yōu)化排序函數(shù)必須定義一個(gè)合適的排序相似度度量。正如文獻(xiàn)[6]中所指出的那樣，Kendall’s τ是一個(gè)比較兩個(gè)隨機(jī)變量序數(shù)關(guān)系最流行的標(biāo)準(zhǔn)。為了解釋Kendall’s τ測度，筆者定義，對(duì)于一個(gè)文檔對(duì)(di， dj)，當(dāng)排序r1與r2是一致的，則稱文檔對(duì)(di， dj)為順序文檔對(duì);否則稱為反序文檔對(duì)。如果排序r1和r2總共有P個(gè)順序?qū)蚎個(gè)反序?qū)Γ瑒tKendall’s τ定義為

τ(r1，r2)=P-QP+Q=1-2QMD2=1-4QMD(MD-1)(1)

例如，假設(shè)兩個(gè)排序ra和rb為

ra:d1

rb:d3

則ra與rb之間的反序?qū)?shù)目為3(即{d2，d3}，{d1，d2}，{d1，d3})，剩下的7對(duì)是順序的，因此，τ(r1，r2)=7-37+3=0.4。如果在兩類情況下，即文檔要么是相關(guān)的，要么是不相關(guān)的，那么最大化τ就等價(jià)于最小化相關(guān)文檔的平均排序。根據(jù)定義，τ只與Q有關(guān)，最大化τ就等價(jià)于最小化Q。更為重要的是，在信息檢索中一個(gè)重要的評(píng)測標(biāo)準(zhǔn)AP(average precision[6])的下界與Q的倒數(shù)密切相關(guān):

avg prec(rf(q))≥1M+DQ+M+D+12-1(∑M+Di=1i)2(2)

因此，在訓(xùn)練集上學(xué)習(xí)一個(gè)排序算法來最小化預(yù)測排序rf與目標(biāo)排序r之間的反序?qū)κ怯欣碚撘罁?jù)的。

在信息檢索中，大多數(shù)學(xué)習(xí)算法將排序?qū)W習(xí)簡化成了一個(gè)兩類分類問題，并且大多源自一個(gè)學(xué)習(xí)框架，即最小化下面的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù):

minf Rreg(f)=∑MQt=1∑MDj=1L(yjf(dj，qt))+vΩ(‖f‖H)(3)

其中:yj 是第j個(gè)訓(xùn)練文檔dj對(duì)應(yīng)的二值相關(guān)度標(biāo)記; L(#8226;)是經(jīng)驗(yàn)損失函數(shù); Ω(#8226;)是一些單調(diào)遞增的正則函數(shù);ν是正則化常量。在文獻(xiàn)[7]中，分量yf(d， q) 被叫做邊際，正邊際表示正確預(yù)測，負(fù)邊際表示錯(cuò)誤誤差;較大的邊際可信度較高，較小的邊際可信度較低。因此學(xué)習(xí)框架被稱做基于邊際的風(fēng)險(xiǎn)最小化框架 [8， 9]。然而，這樣一個(gè)分類框架在處理檢索問題時(shí)可能會(huì)遇到一些困難。首先在檢索任務(wù)中，通常相關(guān)文檔只是一小部分，而絕大多數(shù)是不相關(guān)的文檔，因此，這樣一個(gè)分類算法對(duì)提供負(fù)預(yù)測會(huì)獲得很高的預(yù)測準(zhǔn)確度，即判斷某個(gè)文檔的不相關(guān)性的準(zhǔn)確度會(huì)很高。其次，分類算法的分類準(zhǔn)確性與檢索性能的評(píng)測測度(如AP)并沒有直接的關(guān)系，最大化分類準(zhǔn)確度并不意味著獲得更高的排序效果。為了解決這個(gè)問題，可能會(huì)考慮將最小化預(yù)測排序與目標(biāo)排序之間的反序?qū)?shù)目Q作為學(xué)習(xí)目標(biāo)，即最小化如下表達(dá)式:

∑qt∑dj∈D+qt∑dk∈D-qtI(f(dj，qt)-f(dk，qt))(4)

其中:I(#8226;)是一個(gè)指示函數(shù)。

IA(ω)=1 if ω∈A0 if ω∈A

遺憾的是直接優(yōu)化式(4)是一個(gè)NP-hard問題。但是，通過采用類似于基于邊際的風(fēng)險(xiǎn)最小化的思想，能夠用一個(gè)連續(xù)的凸單調(diào)遞減損失函數(shù)L(#8226;)來取代錯(cuò)誤分類的I(#8226;)，從而使學(xué)習(xí)過程變得便利。對(duì)比式(3)可以得到:

minf RRreg(f)=∑qt∈Q∑dj∈D+qt∑dk∈D-qtL(f(dj，qt)-f(dk，qt))+vΩ(‖f‖H)=∑qt∈Q∑dj∈D+qt∑dk∈D-qtL(∑ni=1λi[fi(dj，qt)-fi(dk，qt)])+vΩ(‖f‖H)(5)

其中:檢索函數(shù)f(dj，q)是排序特征的線性組合，即 f(dj，q)=∑ni=1λifi

(dj，q)。通過優(yōu)化風(fēng)險(xiǎn)函數(shù)，能夠?yàn)槊恳粋€(gè)排序特征fi(dj，q)計(jì)算其風(fēng)險(xiǎn)最小化參數(shù)λi。對(duì)于式(5)，選擇不同的損失函數(shù)和正則項(xiàng)就產(chǎn)生了不同的學(xué)習(xí)算法。在本文的實(shí)際應(yīng)用中，損失函數(shù)采用了L(x)=log (1 + exp(-x))，正則項(xiàng)采用v∑iλ2i。

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)采集于筆者所在單位附屬第一醫(yī)院(第二軍醫(yī)大學(xué)附屬長海醫(yī)院)中醫(yī)科的近500個(gè)病例8 000余幅舌圖像，然后在該圖像集上檢驗(yàn)多特征融合算法的效果和性能，主要目標(biāo)是學(xué)習(xí)基于多特征圖像檢索的最優(yōu)化參數(shù)λi。在實(shí)驗(yàn)中，從舌圖像集上選擇了1 000幅舌圖像。實(shí)驗(yàn)中選用的圖像底層特征大多來自MPEG-7中定義的標(biāo)準(zhǔn)描述子，共六個(gè)，分別為HSV顏色直方圖、CLD、CSD、HTD、邊緣直方圖描述子(edge histogram descriptor，EHD)和三維形狀描述子(shape 3D descriptor，Sh3D)。這六個(gè)特征涵蓋了顏色、紋理和現(xiàn)狀特征，然后利用第2章介紹的融合算法將檢索結(jié)果融合在一起。實(shí)驗(yàn)比較了六種單特征和采用多特征融合方法的檢索性能。實(shí)驗(yàn)結(jié)果如表1和圖1所示。實(shí)驗(yàn)結(jié)果表明多特征融合的檢索方法在平均準(zhǔn)確率方面比單一特征檢索平均要高出約20%。圖2為實(shí)現(xiàn)的中醫(yī)舌圖像檢索系統(tǒng)的檢索界面，算法實(shí)現(xiàn)使用VC++。實(shí)驗(yàn)的消耗時(shí)間主要在融合參數(shù)的訓(xùn)練上，在檢索的時(shí)間消耗方面，用10 000張圖片數(shù)據(jù)庫作為測試，基于單特征檢索的響應(yīng)時(shí)間為毫秒級(jí)，基于多特征融合檢索的響應(yīng)時(shí)間小于10s。

4 結(jié)束語

本文以中醫(yī)舌像為研究對(duì)象，針對(duì)單一特征無法很好表述舌像的缺點(diǎn)，提出了基于多特征融合的中醫(yī)舌像檢索方法以提高中醫(yī)舌像的識(shí)別率。該算法以最小化預(yù)測排序與目標(biāo)排序之間的反序?qū)閮?yōu)化目標(biāo)，最終得出一個(gè)有效的排序?qū)W習(xí)算法，并在本文的舌圖像數(shù)據(jù)集上驗(yàn)證了該算法的有效性。

參考文獻(xiàn):

[1]ROBERTSON S E， JONES S K. Relevance weighting of search terms[J]. Journal of the American Society for Informaiton Science and Technology，2007，27(3): 129-146.

[2]BURGES C， SHAKED T， RENSHAW E， et al. Learning to rank using gradient descent[C]//Proc of the 22nd International Conference on Machine Learning. 2005: 89-96.

[3]CRAMMER K， SINGER Y. Pranking with ranking[M]//Advances in Neural Information Processing Systems.Cambridge:MIT Press，2001:641-647.

[4] GAO Jian-feng， QI Hao-liang， XIA Xin-song， et al. Linear discriminant model for information retrieval[C]//Proc of the 28th International ACM SIGIR Conference. New York:ACM Press， 2005: 290-297.

[5]Nallapati R. Discriminative models for information retrieval[C]//Proc of the 27th ACM SIGIR Conference on Information Retrieval. New York:ACM Press，2004: 64-71.

[6] JOACHIMS T. Optimizing search engines using click through data[C]//Proc of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM Press， 2002: 133-142.

[7]HASTIE T， TIBSHIRANI R， FRIEDMAN J. The elements of statistical learning[M]. Basel:Springer-Verlag， 2001.

[8]HERBRICH R，GRAEPEL T，OBERMAYER K. Large margin rank boundaries for orinal regression[M]//SMOLA A J， BARTLETT P L， SCHOLKOPF B， et al.Advances in Large Margin Classifiers.Cambridge:MIT Press， 2000:115-132.

[9]YAN Rong， HAUPTMANN A G. Efficient margin-based rank learning algorithms for information retrieval[C]//Proc of Conference on Image and Video Retrieval.2006:113-122.

[10]岳小強(qiáng)， 劉慶. 對(duì)舌診現(xiàn)代研究的幾點(diǎn)思考[J]. 山東中醫(yī)藥大學(xué)學(xué)報(bào)， 2003， 27(5): 327-329.

[11]劉慶， 岳小強(qiáng)， 凌昌全. 舌診現(xiàn)代化研究的回顧與展望[J]. 中西醫(yī)結(jié)合學(xué)報(bào)， 2003， 1(1):66-70.

[12]杜軍平， 涂序彥. 計(jì)算機(jī)圖像處理技術(shù)在舌像特征提取中的應(yīng)用[J]. 中國醫(yī)學(xué)影像技術(shù)， 2003， 19(z1): 150-152.

[13]宋余慶， 陳健美， 郭依正，等. 基于多特征融合的醫(yī)學(xué)圖像識(shí)別研究[J]. 計(jì)算機(jī)應(yīng)用研究， 2008， 25(6): 1750-1752.