【】黃碩,劉靜*,2
1 清華大學醫學院生物醫學工程系,北京,100084 2 中國科學院理化技術研究所,北京,100190
基于手機的液晶熱成像方法及其醫學應用
【作 者】黃碩1,劉靜*1,2
1 清華大學醫學院生物醫學工程系,北京,100084 2 中國科學院理化技術研究所,北京,100190
介紹了在以手機為核心的醫學成像新模式下,將熱色液晶熱成像技術與手機相結合,借助手機攝像頭獲取熱色液晶的圖像的方法。并基于實驗中建立的溫度-色調校對曲線,采用數字圖像處理方法重建出定量化的人體體表溫度分布熱圖。進一步將該方法用于手部測溫及熱動力學檢查,并根據人體生物傳熱模型獲得了與人體溫度分布密切相關的熱學參數。本文方法可望發展成為一種泛在的獲取人體體表溫度圖譜的低成本影像技術。
熱色液晶;手機;熱醫學圖像;低成本醫療;生物傳熱
近二、三十年來,采集人體體表溫度分布的熱成像方法被用于多種疾病診斷,如神經功能紊亂、血管疾病、燒傷、皮膚病和腫瘤早期檢測(特別是乳腺癌)等[1]。人體體表溫度分布與其生理熱參數、生物傳熱機制密切相關,健康人體的體表溫度一般呈對稱分布,若出現不規則性,則可能預示著患病風險[2]。表1比較了常用的點/面溫度獲取方法的優劣,其中遠紅外成像和熱色液晶熱成像均能定量測取溫度的2維分布,顯示溫度的變化過程并識別人體體表上微小區域的異常冷/熱點。與遠紅外成像相比,熱色液晶熱成像的優點在于價格便宜,適合用于社區、家庭健康評估和普遍的疾病早期排查[3]。
當前,隨著移動通訊工具的快速普及應用,以手機為載體的移動健康技術(Mobile Health)正逐步得到關注,代表了一大類嶄新的生物醫學工程發展前沿[4,5]。移動醫療的目標在于將健康監護帶給最大多數人群[5],符合未來個人醫療的發展模式,有助于促成疾病的早期發現,從而改變過去那種患者單純在醫療中心接收被動治療的不足,而實現在社區、家庭中接受對健康主動的長期監護等需求。家庭健康監護和疾病診斷一般涉及到生理電學、熱學檢查和生化檢查等多種檢測手段,而醫學影像是其中重要的信息獲取方式。目前的手機支持了一系列技術功能,除最基本的語音和文字通訊外,許多手機還集成有高分辨率的攝像頭,從而可用于拍攝圖像或者短視頻,并提供影像處理、顯示以及高速無線數據傳輸(如藍牙,WiFi)等功能。隨著前端便攜式信息采集技術的進步,手機數據處理與存儲能力的提高以及GSM和3G網絡的普及,將給個人醫療應用中新的醫學成像模式提供技術上的支持[4]。

表1 常用溫度傳感器比較Tab.1 Comparison of sensors commonly used in temperature measurement
本文旨在發展出以手機為核心,利用熱色液晶作為溫敏傳感器的熱成像新模式,并嘗試將其用于個人的健康評估。

圖1 典型的熱色液晶反射光波長(顏色)/溫度相關曲線[5]Fig.1 Typical reflected wavelength (color)/temperature response of a thermochromic liquid crystal mixture
熱色液晶是隨溫度變化而產生不同顏色的特殊溫度敏感材料。由于液晶材料的分子間距與其反射光的頻率密切相關,當溫度變化時,液晶層狀分子結構的間距會相應改變,導致反射光頻率隨之改變,于是液晶表面呈現不同顏色。在周圍環境條件確定的情況下,液晶表面顏色與其溫度值存在特定的函數對應關系(圖1)[6]。為保護材料的溫敏特性,熱色液晶通常被包裹在5-10 μm的球形微膠囊中,并懸浮于水溶液內,但裸露的熱色液晶能產生更鮮艷的顏色,其對溫度變化也更敏感。在實際的測溫應用中,直接將熱色液晶涂抹于干凈的目標表面,或者先在目標表面涂抹一層黑漆背景后再涂覆以熱色液晶,此時即使用肉眼觀察顏色變化,也能得到定性的溫度分布。但若要讀取定量精確的溫度值,則需借助RGB三原色相機獲得顏色信息并根據已知的液晶標定曲線,才能反算出準確的溫度值。不同熱色液晶的測溫范圍從-30oC到120oC不等,溫度分辨率則從0.1oC到30oC,但其對溫度變化的響應時間均在10 ms左右。醫學檢查應用中熱色液晶的測溫范圍一般選在20-40oC之間,溫度分辨率則選擇為0.1oC左右,顯然,較短的溫度響應時間已足以反映人體溫度變化的動態過程。熱色液晶在測溫范圍的下限溫度顯示紅色,在上限溫度則顯示紫色,而用于反算溫度的顏色區間(Color-Display Interval)需要在顏色之間平滑過渡,因而顏色區間一般定義為首次出現的紅色和末次出現的藍色(圖2)。

圖2 熱色液晶的顏色區間Fig.2 Color-Display Interval of thermochromic liquid crystal
2.1手機型熱色液晶熱成像新模式
熱色液晶熱成像系統包括3個主要部分:數據采集模塊、數據處理模塊和圖像顯示模塊。一套完整的熱色液晶真彩色圖像處理和控制系統包括了RGB相機、HIS色幀抓取器、輔助幀處理器、RGB轉換器、記錄器和個人電腦[7]。這種傳統模式的醫學成像系統在物理結構上包含所有的3個部分,其價格昂貴,對使用者操作敏感、保養維護不方便且不夠便攜。基于手機的熱色液晶熱成像模式則將數據采集、處理和顯示在物理結構上分開,并借助手機這種隨處可見的移動通訊工具將整個系統在邏輯上連成一個完整的魯棒性好的整體,在此模式下用戶無需專門的操作培訓、節省了用戶端的占用空間,降低了用戶的花費,滿足了個人健康評估的隨時泛在性需求。熱色液晶作為人體表面溫度的傳感器在用戶端涂抹于需要檢測的身體部位,帶有高清攝像頭的手機拍攝到相應的光學圖像后,將所獲原始圖像數據通過GSM移動網絡發送到醫療中心移動數據服務器上,或者通過Bluetooth等短程通訊方式傳輸到個人PC或者社區醫療服務站上,進行目標熱圖的重建和疾病診斷,反算得到的熱圖和診斷結果通過同樣的傳輸方式反饋給用戶手機(圖3)。手機在新的熱色液晶熱醫學成像模式中處于核心位置,起到獲取原始數據、傳輸數據和接受反饋結果的作用,對其計算能力和存儲能力沒有特殊的要求。與傳統遠程醫療方式不同的是,新模式下原始數據的處理、控制不在客戶端而在數據處理中心完成。這樣,一方面簡化了客戶端的設備,降低了其花費和操作難度,另一方面也擴展了系統應用范圍。實際上,除了熱色液晶熱成像外,其他需要大計算量的醫學成像,如電阻抗斷層成像(Electric Impedance Tomography,EIT)、超聲(Ultrasound Imaging)[8]甚至如CT成像等,在便攜式的數據采集模塊實現后也有可能得到應用。此模式用于實際時,原始圖像數據在個人PC、社區醫療服務器和醫療中心的數據處理中心分別得到處理,根據不同需求調用適合的遠端硬件資源及醫療服務,就地處理或者傳送到上一級的醫療服務器進行數據的處理和反饋,使得數據處理靈活方便,且性價比較高。

圖3 基于手機的熱色液晶熱成像系統框架圖Fig.3 System framework diagram of mobile phone based liquid crystal thermal imaging
2.2熱色液晶的色調-溫度標定曲線
2.2.1 HIS顏色坐標系
普通CCD相機拍攝的可見光圖像的顏色采用RGB3原色坐標系,不適合對熱色液晶顏色作定量分析。熱色液晶分子間距的改變,會導致不同溫度下反射光波長的變化,繼而反映出顏色的不同,呈現出從紅色到藍色的變化過程,而與該變化過程相對應的特征量是其顏色的色度值,與其強度和色飽和度兩個參數無關。因此,可引進HIS(Hue-Saturation-Intensity)坐標系,表述熱色液晶圖像的顏色變化,圖像中單個像素點的R(Red)、G(Green)、B(Blue)信息轉化成像素點的Hue色調信息,其變換數學表達式如下:

2.2.2 熱色液晶色調-溫度標定實驗設計
(1) 實驗材料 熱色液晶材料采用臺灣金利公司出廠的TJL-308型可噴涂熱色液晶,其測溫范圍為24oC—34oC,顏色區間為紅色到藍色。
(2) 實驗方法 采用平整的大面積銅板作為傳熱表面,銅板背面用導熱膠粘連可控溫的電加熱片進行加熱,調節加熱片電流的大小控制加熱速率,緩慢均勻提高銅板表面溫度。在用噴槍噴射熱色液晶到銅板正面之前,先噴涂一層黑色底漆以吸收透射光,以增強液晶的色彩分辨率,提高實驗的精度,后在黑漆上均勻噴涂一層熱色液晶。使用FILR A40型遠紅外相機和普通的CONAN 可見光單反相機在0度拍攝視角處,同時對加熱的液晶材料分別拍攝遠紅外圖像和可見光圖像,以作對比。
(3) 實驗步驟
① 待銅板和周圍環境達到熱平衡狀態后,電加熱片通以恒定的電流,利用單反相機和遠紅外相機同時抓拍熱色液晶的圖像。
② 在銅板溫度均勻上升的過程中,使用遠紅外相機監控液晶溫度的變化,每隔0.2oC抓拍圖像,得到整個測溫區間內液晶薄膜的遠紅外圖像和可見光圖像。
③ 使用FLIR公司提供的遠紅外圖像分析軟件ThermaCAM Researcher Pro.2.9(http://www.flir. com),選取遠紅外圖像上某點或者小區域內的平均溫度;使用MATLAB計算對應溫度下可見光圖像相同位置上的點或者小區域的Hue平均值。
④將得到的溫度數據T和色調數據H u e在MATLAB中做數據擬合,從而獲得液晶的標定曲線。
(4) 實驗結果

圖4 TJL-308型熱色液晶的溫度-色調曲線,溫度區間24oC-34oCFig.4 The temperature-hue response curve of the TJL-308 thermochromic liquid crystal whose temperature range is from 24oC to 34oC
圖4給出了TJL-308型熱色液晶的色調與溫度的對應關系曲線,與前人實驗得到的階梯狀規律一致,說明試驗設計的合理性。由此,在借助手機拍攝到待測體表的液晶圖像后,即可反算出對應的溫度數值。
3.1人體表面溫度圖譜的拍攝標準
人體體表溫度分布容易受環境溫度、濕度、熱源和儀器誤差等非自身因素的影響而發生變化,因此在臨床上使用熱成像方式診斷疾病時,熱圖的標準化主要決定于3方面因素:環境變量的控制、病人熱狀態的控制及熱圖拍攝過程的統一化。標準拍攝的人體體表溫度分布圖像最小化了環境變量的影響,提高了測量的可靠性和可重復性,讓在不同時間、不同空間下和采用不同方式獲得的人體體表熱圖具有可比較性[9-10]。
醫用熱圖拍攝標準的主要內容如下:
(1) 拍攝的周圍環境溫度控制在25oC左右,濕度控制在50%左右,病人在這樣的環境下能維持自然舒適的狀態,同時要避免空氣流通以及因日光或燈光照明帶來額外的熱輻射。
(2) 病人在拍攝圖像之前要保持穩定和安靜的精神狀態,避免藥物、咖啡和茶等對神經系統的刺激以及化妝品對皮膚溫度的影響,將拍攝圖像的身體部位曝露于空氣中10-20 min,使人體與周圍環境達到充分的熱平衡。
(3) 病人會根據需要采用不同的姿態(站姿、坐姿、躺倒)拍攝圖像,無論何種姿態,均要保證病人拍攝的身體部位處于自然的位置上,防止由于阻礙血液循環導致皮膚溫度發生變化。此外,拍攝圖像時的角度、距離和高度也需統一并記錄。
(4) 對于熱色液晶的熱成像,涂抹于人體表面的液晶厚度要均勻一致。若使用液晶薄膜,則其要與被測部位緊密貼合。拍攝的角度不可過大,最佳的拍攝角度是0o。拍攝液晶的光學圖像時,周圍環境光照需要適中,以保證拍攝圖像的質量和清晰度。
3.2基于手機的熱色液晶熱成像用于家庭醫療的實驗研究
(1) 實驗材料 SamSung i780智能手機,攝像頭的最大像素值為200萬,拍攝靜態圖像的最大分辨率為1600*1200。可噴射熱色液晶材料的測溫區間在 24oC—34oC 之間,顯示的顏色為5色,并已得到其溫度-色調曲線。USB藍牙適配器,DELL臺式計算機。
(2) 實驗目的 手背測溫及其熱動力學檢查
(3) 實驗內容 使用噴槍將熱色液晶均勻涂抹于手背,液晶層的厚度在1-3 mm之間。等待20 min左右,使得液晶溶液中的水分蒸發完全能夠顯示出顏色的變化。拍攝圖像時的環境溫度是23oC,濕度為46%。采用風冷的方式給手部降溫,之后使用手機攝像頭連續拍攝手部溫度恢復過程中的熱色液晶圖像。通過藍牙無線數據傳輸的方式,手機將拍攝的圖像發送到個人PC上處理。在可見光的圖像處理過程中,首先分割出手背涂抹液晶的區域,然后根據已知的溫度-色調曲線反算出區域的溫度分布數據,并將區域打上偽彩色顯示溫度的分布情況,最后將偽彩色圖像與原始的可見光圖像融合,即得到人體生理位置對應的溫度分布圖譜。之后,同樣借助藍牙無線傳輸方式,PC將得出的結果發送到手機上顯示。
(4) 實驗結果 手機拍攝的原始圖像、PC機處理后得到的圖像及其在手機上的顯示結果如圖5、圖6所示。圖5 中手背的平均溫度為26.4oC,溫度分布的標準差為0.4oC。圖 6中手背的平均溫度是26.8oC,溫度分布的標準差為0.2oC。可見,用手機及熱色液晶,能成功地實現了對體表溫度的定量測定。
3.3手機型熱色液晶熱成像在人體體表熱流定量分析中的應用

圖5 時刻1手機拍攝到的手背熱色液晶圖像及處理后得到的熱圖在手機上的顯示,手背的平均溫度為26.4oCFig.5 The visual image of the hand painted with thermochromic liquid crystal captured at the moment 1 by the camera of the mobile phone and its relative thermography displayed on the mobile phone. The average temperature of the hand is 26.4oC

圖6 時刻2手機拍攝到的手背熱色液晶圖像及處理后得到的熱圖在手機上的顯示,手背平均溫度為26.8oCFig.6 The visual image of the hand painted with thermochromic liquid crystal captured at the moment 2 by the camera of the mobile phone and its relative thermography displayed on the mobile phone. The average temperature of the hand is 26.8oC
根據3維Pennes生物傳熱方程,人體體表熱流計算的是一段時間中整個身體組織空間內的所有產熱,組織內出現的任何異常的熱行為能反映在體表的熱流異常變化中[11]。對人體體表熱流定量分析得到的組織功能估計包含了更多人體健康的信息,增加了熱圖對疾病診斷的特異性,在一定程度上避免了環境因素的影響,對熱色液晶熱圖像進一步處理后,可更好地評估人體健康。
人體體表定量分析中通過計算3類人體與周圍環境主要的傳熱量,來得到人體體表熱流量的估計值,即Q0=Qr+Qc+Qe,其中,Q0是人體體表的總熱流量(W/ m2),Qr、Qr、Qe分別是人體體表的輻射散熱量、對流散熱量和蒸發散熱量。對3類散熱量的估計可以得到人體體表熱流量的計算公式[12]:

其中,ε為人體表面發射率(約為0.99),σ為波爾茲曼常數,Ts為人體體表溫度,T0為周圍環境溫度,Wrsw為皮膚濕度,Pa為周圍空氣的蒸汽壓。
這樣,基于熱色液晶熱成像得到的人體體表溫度分布及式(4),可以定量計算出人體體表的熱流量分布情況。經過計算,可得到圖5中手背熱流量的平均值為69.2 W/m2,標準差為7.0 W/m2;圖 6 中手背熱流的平均值為76.1 W/m2,標準差為2.8 W/m2。
4.1手機熱色液晶熱成像的應用前景
熱色液晶材料性能的改進可以提升所拍攝到的熱圖質量,其中若液晶測溫范圍更寬,會確保覆蓋常見疾病所涉及的體表溫度變化范圍;液晶溫度分辨率更高,則有助于能檢測出早期腫瘤導致的微小溫差和熱點;此外,液晶顯示顏色的色調與溫度若有更好的線性對應關系,將減少系統的誤差。總之,這些性能的提高,使熱色液晶熱成像能用于更多種類疾病的診斷,從而提供更可靠的體表溫度分布,有助于實現對健康狀態的準確評估。
手機型熱色液晶熱成像作為低成本易推廣的功能性醫學成像,一方面需要發展標準化的熱色液晶傳感器產品,如采用氣墊式液晶薄膜的形式可以避免液晶涂抹過程中厚度不均勻,增加實際應用中的方便性。用戶只需按照要求拍攝液晶的圖像并將數據上傳服務器,就能得到診斷和評估的結果。另一方面通過建立醫用網絡熱色液晶熱圖數據庫收集各類疾病熱圖,在大量數據分析的基礎上建立起解讀圖像的方法、診斷疾病標準以及獲得評估健康狀態的參數,可望實現基于網絡熱圖數據庫的電腦自動疾病檢測和健康評估。同時,根據人體的各類傳熱模型計算熱色液晶熱圖,可獲得更多與人體健康相關的生理參數,如文獻[13]中提到根據人體熱平衡狀態下的4層傳熱模型,可得到淺表血流速率和相應位置體表的溫度關系,于是,借助人體體表熱圖有望獲得人體體表的血流分布圖。
4.2基于手機的各類醫學成像的技術及道德問題
各類廉價、便攜式、高性能和高可靠性的前端圖像傳感器技術是手機醫學成像技術的發展重點,成熟實用的微型圖像傳感器將為基于手機的家庭醫學影像中心的建立提供堅實的基礎。同時,手機本身的硬件處理速度與存儲能力,基于嵌入式系統的軟件技術,多媒體數據管理和微型化的投影技術發展,也是未來該技術能得到廣泛普及的重要因素。
需要注意的是,手機醫學成像在家庭應用過程中會涉及到幾個方面的安全風險和道德風險,包括采集醫學圖像時的人體安全風險、手機中存儲的個人醫學信息的隱私泄露風險以及手機與網絡傳輸過程中的數據安全和完整性風險。這些都需要在今后的研究中逐步解決。
本文引入手機自帶的相機功能拍攝人體體表的熱色液晶圖像,通過數字圖像處理方法獲得了人體體表解剖學部位對應的溫度分布,并在以手機為核心的醫學成像新模式下,將這種新的低成本熱圖成像技術應用于家庭健康評估中,展示了新方法的現實意義。本文工作是對以手機為應用平臺的遠程醫學成像的一種有益嘗試。致謝:
本文工作得到清華-裕元醫學科學研究基金及中國科學院創新基金支持。
[1] F. Jones. A reappraisal of the use of infrared thermal image analysis in medicine [J]. IEEE Transactions on Medical Imaging, 1998, 6(17): 1019-1027.
[2] M. Gautherie. Improved system for the objective evaluation of breast thermograms [M]. Biomedical Thermology. New York: Alan R Inc, 1982: 897-905.
[3] 張克勤. 乳腺癌的簡易診斷方法-液晶熱圖診斷及圖譜[M]. 天津: 天津科技翻譯出版公司, 1994.
[4] Q. M. Xie, J. Liu. Mobile phone based biomedical imaging technology: A newly emerging area [J]. Recent Patents on Biomedical Engineering, 2010, 3(1): 41-53.
[5] H. Wang, J. Liu. Mobile phone based health care technology [J]. Recent Patents on Biomedical Engineering, 2009, 2(1): 15-21.
[6] HallCrest Inc. Handbook of Thermochromic Liquid Crystal Technology [M]. Glenview: HallCrest Inc, 2005.
[7] J. Stasiek, A. Stasiek, M. Jewartowski, et al. Liquid crystal thermography and true-colour digital image processing [J]. Optics & Technology, 2006, 38(2): 243-256.
[8] W. D. Richard, D. M. Zar, R. Solek. A low-cost B-mode USB ultrasound probe [J]. Ultrasonic Imaging, 2008, 30(1): 21-28.
[9] E. F. J. Ring, K. Ammer, A. Jung, et al. Standardization of infrared imaging[A]. Proceedings of the 26th Annual International Conference of the IEEE EMBS[C], 2008, 1183-1190.
[10] A. D. Nicholas, D. B. Joseph. Medical Infrared Imaging [M]. New York: CRC Press, 2007.
[11] Liu J, Zhou Y X, Deng Z S. Temperature sensor array system for thermal diagnostics on human disease[A]. Proceeding of the 23rd Annual International Conference of the IEEE EMBS[C], 2001, 3188-3191.
[12] 劉靜, 王存誠. 生物傳熱學[M]. 北京: 科學出版社, 1997.
[13] F. L Wao. Converting far infrared image information to other physiological data [J]. IEEE Engineering in Medicine and Biology, 2000, 12(5): 71-85.
上海神經電生理與康復技術創新戰略聯盟
上海神經電生理與康復技術創新戰略聯盟是上海市科委批準的產學研合作組織,整合醫院、高校科研單位、企業的資源,建成一個成果、技術、經濟利益共享的開放性平臺,以實現可持續發展目標。該創新戰略聯盟是由復旦大學附屬華山醫院、 上海市兒童醫院、 上海交通大學、 上海理工大學、上海諾誠電氣有限公司等單位發起的,聯盟的理事長為上海諾誠電氣有限公司茆順明總經理。
該聯盟自2010年8月6日在上海正式啟動以來,已簽訂了二個合作項目。一項是由復旦大學附屬華山醫院、上海理工大學、上海諾誠電氣有限公司合作研發的“基于光學運動捕捉的步態分析與康復評價系統”;另一項是由復旦大學附屬華山醫院、 上海市兒童醫院、 上海交通大學、 上海理工大學、上海諾誠電氣有限公司合作研究的“腦電生理數據存儲標準-CDF的制定與相關產品”。
為加快研究進度, 聯盟成員利用這一新的交流平臺,圍繞上述合作項目積極開展活動。
2010年8月13日、9月1日在復旦大學附屬華山醫院花園大廳會議室舉行了“基于語音/肌電混合控制的上肢功能康復訓練系統”項目討論會。8月26日在上海理工大學醫療器械與食品學院三樓會議室舉行了“基于光學運動捕捉的步態分析與表面肌電”的項目討論會;9月13日在復旦大學附屬華山醫院綜合樓會議室舉行了上海市2010年生物醫藥領域重點科技攻關項目“集成多信號檢測分析和反饋電刺激的交互式康復評定和治療系統”項目討論會。與會期間,各與專家緊緊把握項目的臨床應用可行性、技術實現可行性和產業化可行性,從各自專業領域進行深入討論,并確定項目下一步的分工安排和項目時間節點,明確下一次討論的時間和議題。
通過學術交流活動,拓寬了思路,加強了聯系,有利于應用產學研用資源,加快項目的產業化進程,它將為上海市的生物醫藥產業發展作出更大的貢獻。
(本刊訊)
Mobile Phone Based Liquid Crystal Thermal Imaging Method and Its Medical Implementation
【Writers】Huang Shuo1, Liu Jing*1,2
1 Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing, 100084 2 Technical Institute of Physics and Chemistry, Chinese Academy of Sciences, Beijing, 100190
thermochromic liquid crystal, mobile phone, medical thermal imaging, low-cost healthcare, bioheat transfer
】In this paper, a new medical imaging strategy based on mobile phone is developed to obtain the quantitative temperature mappings of human skin. The visual images reflected by the TLC pre-painted on human skin are captured by the camera of mobile phone and transformed to the thermographies of human skin through digital image processing method according to the Temperature-Hue curve pre-estabished in the calibration experiment. The mobile phone acquired imaging is then applied to reconstruct the temperature distribution of dorsal hand and for thermodynamic check. Additional thermal parameters related to body health status are calculated based on the bioheat transfer model of human body. The present method is expected to be developed as a pervasive and low cost way to map the skin temperature imaging of human body.
1671-7104(2010)05-0317-06
2010-05-06
劉靜,教授,E-mail: jliubme@tsinghua.edu.cn
R445.7
A
10.3969/j.isnn.1671-7104.2010.05.002
【