電子熒光內窺鏡實時圖像處理系統

邱鵬 葉兵 馬靜云

摘? 要： 文中根據內窺鏡腫瘤手術的發展趨勢，設計一套電子熒光內窺鏡實時圖像處理系統。該系統采用OV5640圖像傳感器采集病灶圖像，光纖導光的LED作為其功率可控的光源。根據光源開關狀態區分暗亮場，開關頻率與攝像頭的幀率一致。通過計算攝像頭與拍攝物體距離，迭代其曝光時間及焦距，從而使圖像獲得合適的亮度及清晰度。FPGA將接收的圖像存儲在DDR2中。通過緩存控制及合成算法得到病變與正常組織差異性較高的圖像，將其以一定的幀數組合，使用VGA線纜輸出至顯示器。與傳統的內窺鏡系統相比，其主要側重于圖像采集與光源的同步，自動調節曝光時間，使得手術醫生能夠方便地提取出不同光照度下圖像的差異信息。

關鍵詞： 內窺鏡; 圖像處理; 圖像采集; 圖像輸出; 光源控制; 自動調節

中圖分類號： TN911.73?34; TP273? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0038?05

Real?time image processing system for electronic fluorescence endoscope

QIU Peng， YE Bing， MA Jingyun

（School of Electronic Science and Applied Physics， Hefei University of Technology， Hefei 230009， China）

Abstract： As the development trend of endoscopic tumor operation， a real?time image processing system for electronic fluorescence endoscope is designed. In this system， the OV5640 image sensor is adopted to collect the nidus images， and the LED with the optical fiber light transmitting is used as its light source with controlled power. The dark and light? fields are distinguished according to the switch state of the light source. The switch frequency is consistent with the frame rate of the camera. The exposure time and focal length of the camera are iterated by calculating the distance between the camera and the object， so as to obtain the appropriate brightness and clarity of the image. The received images are stored in the DDR2 by the FPGA， the highly difference images with the diseased tissue and normal tissue around it are got by means of the cache control and the synthesis algorithm， which are combined at a certain number of frames and output to the display through VGA cable. In comparison with the traditional endoscopy system， this system mainly focuses on the synchronization of image acquisition and light source， and can automatically adjust the exposure time， which makes the surgeons conveniently extract the difference information of the image under different illumination.

Keywords： endoscope; image processing; image capture; image output; light source control; automatic adjustment

0? 引? 言

隨著科學技術的發展進步，“微創”這一概念已深入到外科手術的各種領域。在微創腫瘤切除手術中，醫生僅僅依賴于內窺鏡所提供的視覺信息來判斷腫瘤，這導致對于顏色和形態都與正常組織相似的微小腫瘤病灶被遺漏[1]。

利用熒光分子成像是一種新的成像方法，其原理是通過熒光劑標記腫瘤細胞來增加病變組織與正常組織的對比[2]。由于熒光劑在可見光照射下觀察效果不明顯，在無光照條件下標記效果顯著，因此在臨床上，醫生通過手動開關照明光源，通過電子內窺鏡來觀察正常組織與腫瘤組織的圖像差異信息。而手術現場環境復雜、儀器眾多，在長時間手術的過程中頻繁開關光源給手術醫生帶來一定負擔;并且在暗場下熒光劑的邊界不清晰，容易干擾醫生對手術的判斷。

為了解決在臨床手術中所面臨的以上幾個問題，本文提出一套電子熒光內窺鏡實時圖像處理系統。該系統能夠自動開關光源，對1 920×1 080分辨率的視頻流實時處理，自適應改變屏幕亮度，清晰顯示熒光邊界，減少了手術時間，完善了這一新型成像方法在實際手術中的應用。

1? 系統的設計原理

本系統由光源模塊、圖像采集模塊、處理模塊和液晶顯示器4個部分組成。光源模塊驅動光纖導光的LED對成像區域照明。圖像采集模塊采用OV5640攝像頭進行圖像采集。處理模塊是整個系統的核心，由cyclone系列的EP4C75芯片及2片DDR2組成，負責搭載圖像合成算法、存取未處理和處理后的圖像以及改寫攝像頭寄存器等操作。處理模塊使用VGA線纜連接1080P液晶顯示器。為了便于調節攝像頭參數，本系統加入矩陣鍵盤作為參數調節端，計算機通過USB Blaster線纜對FPGA燒寫，利用SignalTap對本系統進行在線調試。本系統所設計的系統結構框圖如圖1所示。

2? 系統的硬件設計

2.1? 光源模塊

通常內窺鏡所采用的LED光源具有功率較大、發散角大于攝像頭視場角、光強可調等特性。針對LED的光學特性所設計的光學結構由本課題所在的其他小組負責。本文設計了光源模塊的LED驅動電路見圖2。220 V交流電經變壓器、整流濾波電路后作為CW7812的輸入電壓。CW7812為12 V穩壓芯片最大輸出電流可達1.5 A，滿足三列LED的最大驅動電流0.6 A。FPGA通過引腳strobe高低電平控制光源開關。當Strobe為3.3 V時，Q2，Q1導通，D1～D9發光。利用可變電阻R1調節D1～D9的工作電流，從而改變其照度。Strobe為0 V時，Q2與Q1截止，D1～D9無電流經過，不發光。

2.2? 圖像采集模塊

本模塊采用CMOS圖像傳感器OV5640，其曝光時間和增益每幀可控，內部集成ISP（Image Signal Processor），可將上一級A/D轉換器的輸出數字信號經白平衡、伽馬校正、顏色插值轉換為YUV格式數據輸出[3]。FPGA使用SCCB協議初始化OV5640，使其輸出1 920×1 080分辨率的圖像數據。VSYNC為高電平有效的幀同步信號，在每幀圖像數據傳輸完成后觸發。HREF為行同步信號。D0～D7為數據總線，每個PCLK上升沿輸出8位圖像數據。

2.3? 處理模塊

由于圖像數據量較大，調試時需要占用FPGA內部RAM較多。本設計所采用的FPGA芯片擁有多達2 745個M9K，滿足了通過SignalTap采集大量FPGA內部信號，從而達到調試本系統的目的。由于EP4CE系列沒有自帶內部FLASH，因此外接一個64 Mbit FLASH，采用SPI與其通信。Cyclone IV E系列EP4CE75F23C8 FPGA，M25P64 SPI FLASH以及兩片鎂光MT47H64M16 DDR2組成了處理模塊的硬件結構，分別負責本系統的邏輯控制、邏輯代碼存儲以及圖像緩存。由于芯片管腳眾多，地址數據總線較寬，本文給出處理模塊的設計框圖如圖3所示。

兩片DDR2共用13位地址總線（ADR）、時鐘線（CLK）、控制總線（CMD）以及塊選擇線（BA）。兩片DDR2的16位DQ并聯，數據位寬由16位擴展成32位。DDR2的數據吞吐率等于接口時鐘×接口位寬[4]，即300 M×32 bit=9.6 Gb/s。VGA接口輸出每幀圖像前，圖像緩存控制需要從DDR2中寫入兩幀和讀取兩幀數據，在DDR2讀取速率與寫入速率一致的條件下，則DDR2吞吐率的[14]（2.4 Gb/s）需要大于攝像頭數據輸入速率和VGA接口輸出速率。對比OV5640數據輸入速率84 M×8 bit=0.67 Gb/s以及VGA接口輸出速率148 M×16 bit=2.368 Gb/s，該型號的DDR2滿足此次設計的需求。

3? 系統的邏輯設計

處理模塊中的邏輯控制作為本系統設計的核心，采用Verilog硬件描述語言編寫，通過USB Blaster下載及調試。系統的邏輯結構如圖4所示。攝像頭的8位并行數據經帶寬加倍后輸入到DDR2中。DDR2中劃定4幀的緩存空間，圖像緩存控制模塊按照設計的順序分次存取。圖像合成前，經過自動曝光算法，計算出下一幀最適曝光值。圖像合成后，數據由緩存塊經YUV轉RGB[5]，VGA時序控制[6]輸出至液晶顯示屏。本節主要就關鍵性問題進行詳細描述。

3.1? 亮暗場切換

亮暗場切換屬于處理模塊對圖像采集模塊與光源模塊的控制。當每幀數據發送完畢時，攝像頭在固定的PCLK時鐘周期內將VSYNC置高。亮暗場切換的同步信號采用攝像頭的幀同步信號VSYNC，FPGA采集到VSYNC的上升沿，即確定該幀數據發送完畢。控制器分奇偶幀對本系統做出以下配置。

奇幀（亮場）：將光源開關引腳（strope）置高，LED亮。通過SCCB總線減小攝像頭的曝光時間和增益，將圖像輸入地址在DDR2中切換至亮幀存儲位置（0X100000～0X1FD1FF）。偶幀（暗場）：將光源開關引腳（strope）置低，LED滅。通過SCCB總線增大攝像頭的曝光時間和增益，將圖像輸入地址在DDR2中切換至暗幀存儲位置（0X000000～0X0FD1FF）。

由于攝像頭工作在不同照度下，因此攝像頭需要來回切換亮、暗場的曝光時間及增益，其中亮場的曝光時間由自動曝光算法得出。對拍攝圖片在DDR2中存儲位置的切換簡化了圖像緩存控制的設計。

3.2? 自動曝光及焦距調節

圖像質量與清晰程度以及像素亮度有很強的相關性。合成圖像中正常區域的清晰程度取決于CMOS相機的焦距，而其像素亮度取決于亮場的像素亮度。在手術中，醫生需要調節內窺鏡鏡頭與成像組織的距離來獲得可變視野。由現有的內窺鏡結構可知[7]，內窺鏡鏡頭是由光纖頭和與其在同一垂直平面的CMOS感光芯片所組成。因此，調節內窺鏡鏡頭與成像組織的距離d，會造成圖像清晰程度與像素亮度的變化。本設計在不改變LED發光強度的條件下通過調節曝光時間T，使得像素亮度能夠穩定在目標范圍內，不隨d變化。使用實驗參數計算出d的大小，通過距離范圍查找表（Look?Up Table，LUT）[8]獲得該d值所需的工作參數T以及攝像頭音圈馬達VCM的工作電流A（改變焦距）[8]。通過反復迭代，從而使得圖像具有穩定的亮度和清晰度。

[Cy=Ay+By·f]

[Cuv=Auv·d+Buv·|1-d|] （7）

[f=0，? ? ? ? By

圖7為合成算法流程圖。考慮到乘加運算所實現的功能，結合FPGA處理數據的流水線特性，合成算法以一個像素作為基本運算單元，在乘法運算和加法運算之后各加一個寄存器，形成兩級流水線結構。暗場亮度數據（[By]）經比較器后作為數據選擇器的選擇端口。若[By]值小于t，則兩個數據選擇器分別選擇通道0及通道[Auv]，否則，則選擇通道M及通道[Buv]。

實驗過程中，參數經多次調整設定為M=1，t=0x0F。圖像合成效果見圖8，對比亮場圖像9與暗場圖像10，該合成算法較為清晰地顯示了正常組織，并且顯著增強了熒光區域的邊界，實現了本系統中正常組織與熒光區域的區分功能。

4? 結? 論

本系統采用FPGA進行控制與運算，使用像素合成的方法來處理圖像。通過訪問查找表，多次迭代計算，維持圖像亮度穩定，清晰度合適。實驗結果表明，該系統實時性好、操作便捷、分辨率高，可以顯著地增強標記區域與正常組織的區分度，為縮短手術時間，減少識別難度提供了一種有效的治療手段。

參考文獻

[1] GLYNNE?JONES R， NILSSON P J， ASCHELE C， et al. Anal cancer： ESMO?ESSO?ESTRO clinical practice guidelines for diagnosis， treatment and follow?up [J]. European journal of surgical oncology， 2014， 40（10）： 1165?1176.

[2] 劉長旭，劉昶，紀艷超.量子點熒光腹腔鏡在胃癌治療中的研究進展及前景[J].中國微創外科雜志，2018，18（3）：271?273.

[3] 葛正中.基于Cortex?A9的高清攝像系統設計[D].北京：北方工業大學，2016.

[4] 韓剛.用于高速圖像處理的DDR2 SDRAM控制器[J].西安郵電大學學報，2015，20（4）：58?61.

[5] 陳云，楊娜，黃江偉.基于嵌入式系統的攝像頭圖像采集[J].信息通信，2017（11）：77?78.

[6] 杜宗展，王振河，馮迎春.基于FPGA的VGA圖像顯示系統的設計[J].現代電子技術，2015，38（16）：95?99.

[7] 寧偉，王永琳，王恩運，等.醫用內窺鏡系統的組成與常見故障維修[J].醫療裝備，2015（6）：105?106.

[8] 李翁衡，盧琴芬.微型音圈電機在手機攝像模組中的應用[J].微電機，2018（7）：8?11.

[9] 何燕強.距離平方反比定律的應用與探討[J].計量與測試技術，2018（6）：14?17.

[10] 劉杰，賽景波.基于DDR2SDRAM乒乓雙緩沖的高速數據收發系統設計[J].電子器件，2015（3）：650?654.