基于無線傳輸?shù)囊暰W(wǎng)膜圖像采集系統(tǒng)①

王業(yè)順, 姚鳳瑩, 沈建新

(南京航空航天大學(xué) 機(jī)電學(xué)院,南京 210016)

視網(wǎng)膜又稱之為眼底,其發(fā)生的病變,例如,早產(chǎn)兒視網(wǎng)膜病變(ROP)、糖尿病性視網(wǎng)膜病變(DR)等,能準(zhǔn)確地反映高血壓、糖尿病等. 這些疾病發(fā)生早期一般反映在視網(wǎng)膜周邊地區(qū),能夠在早期的篩查中發(fā)現(xiàn)這些病發(fā)現(xiàn)象對(duì)眼科疾病的診斷和治療具有重大的意義. 傳統(tǒng)的眼底圖像采集方式主要有直接檢眼鏡、雙目間接檢眼鏡和眼底照相機(jī)等. 檢眼鏡操作復(fù)雜、成像視場(chǎng)小而且缺乏對(duì)眼底圖像的客觀記錄,不便于后期的檢查、判斷和復(fù)診,容易造成誤診和漏診[1]. 傳統(tǒng)眼底相機(jī)由于體積龐大、可移動(dòng)性差、受到有線傳輸?shù)南拗贫覂r(jià)格高昂因此很難普及. 所以研發(fā)一款國(guó)內(nèi)自主品牌的無線眼底相機(jī)對(duì)眼科疾病診斷具有重大意義.

無線視網(wǎng)膜成像的特點(diǎn)在于采用WiFi傳輸技術(shù),相比于其他無線傳輸方式它的優(yōu)點(diǎn)在于傳輸速度高,可以達(dá)到11 Mbps,而且其有效距離遠(yuǎn)保真度高等[2].基于C#語言在帶有無線網(wǎng)卡的PC機(jī)上編寫圖像接收、處理、存儲(chǔ)以及共享的應(yīng)用程序. 本文采用的是關(guān)系型數(shù)據(jù)庫(kù)SQL Server2008來實(shí)現(xiàn)信息的存儲(chǔ)和管理. SQL Server安全可靠、高效智能的優(yōu)點(diǎn)使其被廣泛應(yīng)用在各行各業(yè)[3]. 在關(guān)系數(shù)據(jù)庫(kù)中可以單獨(dú)存儲(chǔ)被檢查人員的各種信息,并通過數(shù)據(jù)庫(kù)主鍵的唯一性特點(diǎn)將每一個(gè)人的所有相關(guān)信息聯(lián)系起來,實(shí)現(xiàn)查詢、修改的統(tǒng)一性. 既方便了上位機(jī)代碼的編寫同時(shí)提高了應(yīng)用程序的執(zhí)行效率.

無線眼底相機(jī)的一大優(yōu)點(diǎn)還在于其不受布線的約束,擺脫了傳統(tǒng)有線眼底相機(jī)的笨重、檢查條件苛刻的缺點(diǎn),使其能在一些特殊的場(chǎng)合中使用. 同時(shí)便攜式的眼底相機(jī)為眼科檢查在偏遠(yuǎn)地區(qū)推廣提供了基礎(chǔ).

1 技術(shù)基礎(chǔ)

1.1 開發(fā)環(huán)境

Visual C#集成開發(fā)環(huán)境(IDE)一般包括代碼編輯器、編譯器、調(diào)試器和圖形用戶界面工具. 集成了代碼編寫功能、分析功能、編譯功能、調(diào)試功能等一體化的開發(fā)軟件服務(wù)套. 本系統(tǒng)采用Visual Studio 2015搭建的.NET Framework 4.5為開發(fā)環(huán)境,并安裝眼底相機(jī)開發(fā)包提供的相機(jī)操作的相關(guān)API函數(shù). 通過ADO.NET提供的Connection對(duì)象鏈接SQL Server 2008數(shù)據(jù)庫(kù). 本系統(tǒng)采用的是大恒Matan G-507系列的相機(jī),內(nèi)置Sony IMX264 2/3″CMOS傳感器.

1.2 系統(tǒng)組成

無線圖像采集系統(tǒng)采用下位機(jī)(眼底相機(jī))和上位機(jī)(PC控制端),通過WiFi技術(shù)進(jìn)行信息交換的工作模式. 下位機(jī)部分由視網(wǎng)膜成像系統(tǒng)和WiFi無線傳輸模塊組成. 下位機(jī)可單獨(dú)進(jìn)行眼底照明、聚焦等操作.上位機(jī)同時(shí)擁有聚焦、成像、拍攝等功能. 眼底相機(jī)不具備眼底影像顯示功能,它通過內(nèi)置WiFi無線連接模塊連接具有無限網(wǎng)卡的PC端,并通過上位機(jī)應(yīng)用程序?qū)⒀鄣紫鄼C(jī)傳感器所接收的影像信息實(shí)時(shí)顯示在電腦屏幕上. 同時(shí)上位機(jī)可以通過界面操作向WiFi模塊發(fā)送指令進(jìn)行相關(guān)拍攝參數(shù)的設(shè)定.

圖1 無線視網(wǎng)膜成像系統(tǒng)

2 軟件系統(tǒng)

2.1 功能與流程

軟件主要實(shí)現(xiàn)視網(wǎng)膜成像系統(tǒng)與PC終端的連接、拍照、參數(shù)設(shè)定以及圖像存儲(chǔ)、傳輸?shù)裙δ? 醫(yī)生將通過軟件系統(tǒng)實(shí)時(shí)觀察視網(wǎng)膜圖像,并進(jìn)行拍照保存. 該系統(tǒng)調(diào)焦、拍照、錄像相關(guān)功能在手持式成像系統(tǒng)和上位機(jī)應(yīng)用程序中都可以單獨(dú)進(jìn)行,操作簡(jiǎn)單、方便. 而像機(jī)相關(guān)參數(shù)設(shè)置、圖片選取和后續(xù)的信息共享功能則需要在上位機(jī)上單獨(dú)完成[4,5].

每個(gè)下位機(jī)都有單獨(dú)的IP地址,在網(wǎng)絡(luò)設(shè)置中通過WAP2的加密模式連接相機(jī)熱點(diǎn),并打開上位機(jī)程序進(jìn)行相機(jī)設(shè)備搜索[6]. 搜索成功后將顯示連接設(shè)備的相關(guān)信息,確認(rèn)連接后將會(huì)在視頻顯示控件上實(shí)時(shí)顯示CMOS相機(jī)當(dāng)前所接收到影像信息.

圖2 軟件操作流程圖

2.2 數(shù)據(jù)交互/通信

基于網(wǎng)絡(luò)的嵌入式成像系統(tǒng)因其靈活性、擴(kuò)展性等諸多方面的優(yōu)勢(shì),正越來越多地被運(yùn)用于航空航天、軍事、醫(yī)療等領(lǐng)域. 同時(shí),由于圖像質(zhì)量和分辨率的不斷升高,對(duì)成像系統(tǒng)數(shù)據(jù)傳輸速度的要求也不斷提高,而現(xiàn)有的這類系統(tǒng)中多是采用TCP(UDP)/IP協(xié)議棧來實(shí)現(xiàn)控制命令和圖像數(shù)據(jù)的網(wǎng)絡(luò)傳輸[7]. 無線圖像傳輸系統(tǒng)軟件結(jié)構(gòu)圖如圖3,PC機(jī)實(shí)現(xiàn)上位機(jī)應(yīng)用層,TCP/IP協(xié)議; 網(wǎng)絡(luò)接口層由無線網(wǎng)卡和WiFi無線模塊共同實(shí)現(xiàn). WiFi鏡頭模塊采用LWIP (Light Weight IP)協(xié)議,LWIP既可以實(shí)現(xiàn)TCP協(xié)議也可以在無操作系統(tǒng)的情況下使用,而且該協(xié)議占用RAM和ROM較少,適合在低端嵌入式系統(tǒng)中使用. 本文在無操作系統(tǒng)的情況下使用LWIP協(xié)議,即用RAW API函數(shù)來完成LWIP的功能. 將LWIP和WiFi庫(kù)文件放置到工程文件中,進(jìn)行相應(yīng)配置.

圖3 無線圖像傳輸系統(tǒng)軟件結(jié)構(gòu)圖

2.3 信息存儲(chǔ)

眼底視網(wǎng)膜圖像采集信息量龐大,而且信息保存周期較長(zhǎng),信息安全要求較高. 而SQL Server數(shù)據(jù)庫(kù)是當(dāng)前較常用的大型數(shù)據(jù)庫(kù)管理系統(tǒng)之一,具有速度快、功能強(qiáng)、易使用等特點(diǎn). 本文采用基于ADO.NET技術(shù)的關(guān)系型數(shù)據(jù)庫(kù)SQL Server 2008建立病人管理系統(tǒng),實(shí)現(xiàn)被檢查者基本信息和檢查結(jié)果的存儲(chǔ)、查看等功能. ADO.NET是 .NET Framework提供給開發(fā)人員的一組類,并且是以XML文件為基礎(chǔ)訪問數(shù)據(jù)庫(kù)的方式[8]. .NET Framework提供的數(shù)據(jù)庫(kù)操作類包括Connection對(duì)象、Command對(duì)象、DataReader對(duì)象和DateAdapter對(duì)象. 其中,DataAdapter對(duì)象是DataSet和數(shù)據(jù)源之間的橋梁,它可以隱藏與Connection對(duì)象、Command對(duì)象溝通的細(xì)節(jié),完成DataSet和數(shù)據(jù)源之間的數(shù)據(jù)交換. DataSet包含了Tables(表)集合和 Relations(關(guān)系)集合. 由于DataSet的結(jié)構(gòu)和關(guān)系型數(shù)據(jù)庫(kù)類似,因此可以像訪問關(guān)系型數(shù)據(jù)庫(kù)那樣訪問DataSet,在其中執(zhí)行添加、刪除、修改數(shù)據(jù)等操作.

電子病歷主要包括圖像信息和非圖像信息. 其中非圖像信息包括患者基本信息表、患者診斷結(jié)果表、醫(yī)師基本信息表等. 各表之間以病例號(hào)作為主鍵進(jìn)行信息關(guān)聯(lián). 在軟件層對(duì)醫(yī)生和患者提供不同的訪問權(quán)限進(jìn)行信息的有效管理. 在關(guān)系型數(shù)據(jù)庫(kù)中,通過檢索表能快速準(zhǔn)確的查詢到每條記錄,而且能將多個(gè)信息表的內(nèi)容進(jìn)行關(guān)聯(lián),減少重復(fù)信息的存儲(chǔ),大大提高了數(shù)據(jù)庫(kù)的使用效率. 鑒于該系統(tǒng)在實(shí)際應(yīng)用中對(duì)圖片的存儲(chǔ)量較大、像素要求較高,本文采用存儲(chǔ)視頻、圖像路徑的方式進(jìn)行存儲(chǔ). 而真正采集到的圖像信息被存放在指定的硬盤當(dāng)中.

圖4 數(shù)據(jù)庫(kù)訪問

2.4 功能實(shí)現(xiàn)及軟件界面

基于無線傳輸?shù)囊暰W(wǎng)膜圖像采集軟件系統(tǒng)主要包括無線連接模塊、視網(wǎng)膜圖像采集模塊、信息查詢模塊. 通過軟件控制相機(jī)的連接、打開或關(guān)閉,同時(shí)對(duì)相機(jī)采集的信息進(jìn)行顯示、篩選、存儲(chǔ)等操作. 無線連接模塊通過對(duì)網(wǎng)卡及攝像頭模塊進(jìn)行初始化,建立TCP服務(wù)器,完成下位機(jī)圖像采集的準(zhǔn)備工作后進(jìn)行上下位機(jī)的通訊從而完成實(shí)時(shí)傳輸顯示和圖像采集的工作.

軟件界面采用C#語言進(jìn)行開發(fā),包括登陸界面、檢查界面、結(jié)果查詢界面、用戶管理界面. 登錄密碼采用MD5加密算法,MD5加密算法以512位分組來處理輸入的信息,且每一分組又被劃分為16個(gè)32位子分組,經(jīng)過了一系列的處理后,算法的輸出由四個(gè)32位分組組成,將這四個(gè)32位分組級(jí)聯(lián)后將生成一個(gè)128位散列值[9]. MD5算法具有很高的安全性,是當(dāng)前比較流行的一種加密算法. 檢查界面是該系統(tǒng)最關(guān)鍵的界面,該界面實(shí)現(xiàn)與眼底相機(jī)的連接、圖像實(shí)時(shí)顯示和圖像采集功能. 結(jié)果查詢界面可以查看病人基本信息和眼底檢查結(jié)論,瀏覽采集到的眼底圖像,并支持對(duì)結(jié)果進(jìn)行修改. 用戶管理界面則可以進(jìn)行新用戶的注冊(cè)、密碼修改和用戶權(quán)限分配等相關(guān)配置.

圖5 系統(tǒng)測(cè)試圖像采集界面

3 硬件系統(tǒng)

WiFi無線采集裝置下位機(jī)包括照明光路、成像光路、影像感應(yīng)裝置和WiFi傳輸模塊[10]. 本系統(tǒng)是應(yīng)用于嬰幼兒廣域視網(wǎng)膜采集,成像系統(tǒng)是基于130°Volk超廣角鏡頭實(shí)現(xiàn)視網(wǎng)膜周邊區(qū)域的成像,而照明系統(tǒng)則采用環(huán)形LED光纖進(jìn)行照明[11],為減少眼角膜前表面的反射光影響采用臨界照明方式形成均勻、大面積的有效環(huán)形光斑[12]. 影像感應(yīng)器則選用OV2640攝像頭模塊,這是一種CMOS圖像傳感器,將UXGA相機(jī)和DSP封裝集成在一塊板子上. 通過SCCB總線控制,支持 Raw RGB、RGB、YUY(4：2：2)輸出格式 (8 位).

WiFi模塊是實(shí)現(xiàn)無線視網(wǎng)膜實(shí)時(shí)成像的關(guān)鍵所在,CMOS相機(jī)將采集的圖像數(shù)字信息通過串口傳送給無線WiFi模塊,當(dāng)上位機(jī)連接上下位機(jī)WiFi熱點(diǎn)后就能在應(yīng)用程序中打開設(shè)備,實(shí)現(xiàn)眼底視網(wǎng)膜的實(shí)時(shí)顯示和相關(guān)操作.

圖6 眼底相機(jī)原理圖

4 系統(tǒng)測(cè)試

在實(shí)驗(yàn)室進(jìn)行系統(tǒng)搭建,模擬人眼視網(wǎng)膜檢查過程. 建立局域網(wǎng)、連接眼底相機(jī)設(shè)備和上位機(jī)并進(jìn)行圖像采集處理. 在上位機(jī)圖像采集操作界面點(diǎn)擊搜尋相機(jī),在成功匹配到采集模塊后即可打開相機(jī)并在窗口上顯示當(dāng)前采集到的眼底圖像,移動(dòng)相機(jī)進(jìn)行位姿調(diào)整以實(shí)現(xiàn)清晰,大范圍的視網(wǎng)膜成像. 在病歷號(hào)下拉列表框中選擇或輸入病人病歷號(hào)后會(huì)自動(dòng)匹配電子病歷庫(kù)中的病人相關(guān)信息并將當(dāng)前圖像采集對(duì)象設(shè)置為該對(duì)象. 在后續(xù)的結(jié)果查詢界面能醫(yī)生可以方便的通過病人病歷號(hào)查詢被檢查對(duì)象信息和采集的圖像,方便診斷和治療. 通過對(duì)人工模擬眼的測(cè)試獲得如圖所示的廣域視網(wǎng)膜圖像. 實(shí)驗(yàn)所獲取的眼底圖像相對(duì)較清晰,視場(chǎng)角也比較理想.

5 結(jié)束語

無線視網(wǎng)膜圖像采集系統(tǒng)突破了傳統(tǒng)相機(jī)體積大,操作復(fù)雜的缺點(diǎn),為眼科疾病診斷提供了方便. 通過對(duì)人眼結(jié)構(gòu)、眼底相機(jī)工作原理、視場(chǎng)成像、廣域照明等進(jìn)行研究,利用Volke鏡頭成像清晰,像差小以及成像視場(chǎng)大的特性,設(shè)計(jì)了一套完整的成像系統(tǒng). 基于C#語言設(shè)計(jì)的上位機(jī)界面穩(wěn)定、安全、簡(jiǎn)潔. 基于SQL Server數(shù)據(jù)庫(kù)建立電子病歷的方式管理數(shù)據(jù),不僅方便查詢病人相關(guān)信息,而且為眼科疾病大數(shù)據(jù)挖掘和實(shí)現(xiàn)遠(yuǎn)程醫(yī)療提供了基礎(chǔ). 為視網(wǎng)膜疾病的確診提供了新的思路,為眼底相機(jī)大視場(chǎng)化和眼科醫(yī)療設(shè)備的小型化、微型化的發(fā)展做了鋪墊.

1 DeHoog E,Schwiegerling J. Fundus camera systems：A comparative analysis. Applied Optics,2009,48(2)：221-228.[doi：10.1364/AO.48.000221]

2 王植,沈建新. 無線視網(wǎng)膜成像系統(tǒng). 計(jì)算機(jī)系統(tǒng)應(yīng)用,2017,26(1)：81-85. [doi：10.15888/j.cnki.csa.005529]

3 王萬良,張小瑋,姚信威,等. 無線網(wǎng)絡(luò)中基于流媒體傳輸?shù)淖赃m應(yīng) TFRC機(jī)制. 計(jì)算機(jī)系統(tǒng)應(yīng)用,2013,22(7)：161-167.

4 Cui WC,Yu TS,Ren LJ,et al. Ribs segmentation based on image fusion and wavelet de-noising. 2012 5th International Conference on Biomedical Engineering and Informatics(BMEI). Chongqing,China. 2012. 362-366.

5 Ding M,Antani S,Jaeger S,et al. Local-global classifier fusion for screening chest radiographs. Proceedings of Medical Imaging 2017：Imaging Informatics for Healthcare,Research,and Applications. Orlando,FL,USA. 2017.101380A.

6 王曉楠. 數(shù)字化醫(yī)療設(shè)備軟件開發(fā)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn). 計(jì)算機(jī)系統(tǒng)應(yīng)用,2004,13(11)：52-53,57. [doi：10.3969/j.issn.1003-3254.2004.11.015]

7 Binding C,Tudhope D. Improving interoperability using vocabulary linked data. International Journal on Digital Libraries,2016,17(1)：5-21. [doi：10.1007/s00799-015-0166-y]

8 江凌,楊平利,楊梅,等. 基于ADO.NET技術(shù)訪問SQL Server數(shù)據(jù)庫(kù)的編程實(shí)現(xiàn). 現(xiàn)代電子技術(shù),2014,37(8)：95-98.

9 劉羿勛. WiFi無線網(wǎng)絡(luò)技術(shù)分析及其安全性研究. 通信世界,2017,(3)：81-82.

10 劉小軍. 基于WiFi無線視頻傳輸技術(shù)的研究. 電子技術(shù),2012,(10)：82-85. [doi：10.3969/j.issn.1000-0755.2012.10.026]

11 楊家強(qiáng),程德文,王慶豐,等. 新型大視場(chǎng)消雜光眼底相機(jī)光學(xué)系統(tǒng)的設(shè)計(jì). 光學(xué)學(xué)報(bào),2012,32(11)：204-210.

12 李淳,孫強(qiáng),劉英,等. 眼底相機(jī)的均勻照明及消雜光干擾設(shè)計(jì). 中國(guó)光學(xué)與應(yīng)用光學(xué),2010,3(4)：363-668.