基于雙目紅外相機定位的自由式三維超聲圖像重建系統

陳澤鈺，葛云，陳穎，黃曉林，李偉峰

南京大學電子科學與工程學院，江蘇南京210023

前言

計算機技術在近年來飛速發展，同時醫學成像設備在臨床診斷中也起到不可或缺的作用，醫學影像技術和計算機技術的結合也越來越緊密［1］。超聲成像技術以其無輻射、成本低、實時性等優勢，在輔助醫生進行診療工作中扮演著重要的角色。然而傳統的超聲成像設備大都只能提供人體斷面的二維圖像［2］，對于臨床醫生來說，需要依靠以往經驗，在大腦中重構出人體器官的三維結構，這對診斷的準確性和客觀性提出了不小的挑戰。利用三維重建以及可視化技術，將二維超聲圖像重建為三維結構，不僅能更加直觀地顯示人體器官情況，還能降低對醫生的要求，使得醫生能夠從單一的診療角色逐漸轉變，能同時參與到診療、數據分析和科學研究中［3］。

回顧國內外三維超聲成像研究的歷史，超聲圖像的采集方式大致分為兩種。其一是使用改造的超聲換能器直接采集三維體數據，如容積探頭和面陣探頭。容積探頭組合電動機和線性陣列是一種過渡方案，成像質量不足，體積較大，便攜性差［4-5］；面陣探頭則由本身的性質決定其可以直接獲取二維超聲圖像陣列，并記錄其相對位置關系，但由于超聲換能器改造工藝的限制，使用這種方式的探頭體積較大，成像視野較小，圖像質量相對較差，成本也比較高［6-7］。另一種則是使用傳統超聲探頭，自由式采集二維超聲圖像陣列并進行三維重建，這種方式在臨床上具有靈活、易于操作、不受掃描方向限制、成本較低等優點。但自由式采集需要依據外界的輔助定位系統來確定每一幀圖像的三維空間位置。根據所用定位方式的不同，自由式采集又分為：借助機械臂定位器、光學定位器、磁場傳感器、基于圖像特征分析等方法。

本研究提出一種自由式的基于雙目紅外相機定位的三維超聲圖像重建系統。系統基于Qt、VTK、CTK、OpenCV 等框架開發，使用C++作為主要開發語言，形成一個完整的桌面級應用軟件。通過連接雙目紅外相機和超聲機，能夠實時采集超聲圖像并獲取圖像間的位置關系，從而重建出三維結構。本軟件具有操作簡單、交互友好、運行穩定等特點；醫生可以對圖像陣列進行感興趣區域勾畫，對三維結構進行平移、旋轉、縮放等操作。

1 圖像采集與重建原理

1.1 標定與超聲圖像采集

自由式（Freehand）采集需要監測超聲探頭的軌跡，這一過程是通過安裝位置傳感器實現的，而位置傳感器只是測量自身的運動，與探頭獲取超聲圖像還有一個位置和方向的變換，這個變換就是標定［8-10］。標定使得體數據填充更準確，從而讓三維重建后的圖像更具有醫學參考價值，通常在診斷過程中，毫米級別的誤差都會造成極大的不利影響。在三維重建的過程中，通常使用體數據填充技術，標定會提供一個圖像的絕對坐標，還可以確定世界坐標和像素位置的對應關系，從而提高準確性［11］。

本研究把與紅外相機配套的定位小球作為位置傳感器。在超聲探頭上固定3個不共線的定位小球，這3個小球可以唯一確定一個平面（圖1a），將該平面以及其對應的法向量定義為探頭坐標系。從世界（相機）坐標系到探頭坐標系是一個三維空間到三維空間的變換，由平移以及旋轉操作即可實現，可以用式（1）表示。

其中，TPtoW（Probe to World）表示轉換矩陣；Pw表示在世界（相機）坐標系中的某一點的坐標；Pp表示在探頭坐標系下對應點的坐標；Opw表示探頭坐標系原點在世界坐標系中的坐標。用矩陣表示則可以化為：

探頭坐標系與世界（相機）坐標系的關系如圖1b表示。定義向量以向量-- →-為Y 軸的正方向，經過C點向直線BA 做垂線交于點Op，以向量為X 軸的正方向，則根據右手定則，向外的法向量n→為Z 軸的正方向。

超聲圖像成像的位置可以認為在探頭的下方某處，是一個規則的扇形范圍，并由一個矩形框包圍住，這個成像平面相對探頭的位置始終不變，圖像的4個頂點與探頭上固定的3個定位小球是一個組合剛體（圖1c）。探頭和成像平面的組合體在旋轉后相對位置保持不變。

圖1 探頭坐標系與探頭圖像組合剛體Fig.1 Probe coordinate and rigid body combination

我們認為，在實際采集過程中，選取超聲探頭采集到的圖像中的點與計算機顯示器中的點有一一對應關系。由于計算機顯示器中的圖像沒有采用縱深坐標，其三維顯示圖像也是經過投影顯示的。所以本研究假設P點為超聲探頭可以采集到的某一點，其在雙目紅外相機坐標系（即世界坐標系）下的坐標為P=(x0,y0,z0)，在計算機屏幕上的對應點坐標為P' =(x'0,y'0,z'0)，存在一個矩陣轉換TWtoI（World to Image），可以將P與P'對應起來。

在OpenGL 右手三維坐標系下，采用的線性變換TWtoI是右乘的方式，而且在轉換過程中并非使用簡單的三維坐標，而是一種齊次變換，有4 個維度的坐標(x,y,z,w)，其中包括一個非線性的自由度w，使之像是投影到屏幕上一樣。一般在計算時會將其歸一化，經過此變化后自由度w對于坐標的值可認為始終為1，而對于向量始終為0。P與P'最終變成P=(x0,y0,z0,1)與P' =(x'0,y'0,0,1)（屏幕上顯示的圖像z軸方向的值都為0）。在三維世界中的任意一點，存在一個線性變換TWtoI，使其到計算機屏幕上的對應點的變換為P' =TWtoIP。轉化為矩陣形式如式（3）所示：

所以要求得轉換矩陣TWtoI，實際是在求齊次方程的解。由式（3）可知，4 個不同的點坐標即可求得TWtoI，在實際操作時通常多采集一到兩個點，將其轉化為一個優化問題，具體解優化問題的原理就在此不再贅述。

根據上述探頭與相機坐標系的關系描述可以將TWtoI拆分為TWtoP與TPtoI（Probe to Image）。存在

而TWtoP是隨著探頭在世界坐標系中移動而變化的，計算機可以實時計算。由于超聲探頭采集圖像的4 個頂點與探頭上固定的3 個定位小球是一個組合剛體，所以TPtoI是固定不變的。因此圖像采集前的標定其實是一個計算TPtoI的過程。

1.2 圖像重建

本系統使用VTK 框架的體繪制模塊作為三維重建的主要方法。使用紅外相機定位可以獲取采集到的超聲圖像陣列的位置信息，基本思路是將其抽象為一個大的體數據網格，遍歷整個體積結構填入當前位置所對應的二維圖像灰度值。

體繪制是直接使用三維數據網格投影產生屏幕上的二維圖像，成像真實，結構清晰。體繪制技術可以通過改變不同區域的顏色與透明度等屬性來實現對不同區域的區分渲染。超聲成像技術所記錄的其實是當前位置的灰度值（反射強度），所以可以通過調節不同位置的屬性來對物體進行觀察。另一方面，超聲圖像的噪聲比較強，主要來自于聲束在不均勻微組織間的散射干擾，上述的調整也可以減少噪聲對觀察圖像的影響。

光線投射法是一種對圖像陣列直接繪制的算法。從投影圖像平面的每一個像素，沿視線方向（也可以是其他固定方向）從視點發射一條射線，光線穿過圖像陣列。同時沿射線按照事先規定的步長對圖像陣列進行等距離采樣，對每個采樣點使用插值算法來計算當前位置的體素值，并根據特定函數獲取顏色值和不透明度［12］。同時依據光線吸收模型對顏色值進行累加，直至光線穿越整個圖像陣列，最后得到的顏色值就是渲染圖像的顏色。光線投射法是基于射線掃描的，繪制效果較好，而且可以在GPU 實現，速度較快［13］。

2 系統框架

本系統主要包括硬件部分和軟件部分，硬件部分負責定位和超聲圖像采集，軟件部分則負責矩陣計算以及超聲圖像的讀取、重建、可視化。下面將詳細介紹各模塊的作用和具體實現。

2.1 硬件

2.1.1 雙目紅外相機及其配套工具雙目紅外相機是加拿大NDI公司生產的Polaris 紅外光學測量儀器（圖2a）。該相機可以產生850 nm 波長的紅外光，配套的紅外定位小球表面材料特殊，會反射紅外光形成亮斑。相機則根據空間三角關系可實時求得定位小球在空間中的坐標，達到跟蹤目的［14-15］。注冊筆（圖2b）在紅外相機視野中可以直接獲取筆尖的空間坐標，在系統中使用注冊筆的筆尖在超聲圖像中的像素位置以及在其世界坐標系中的對應坐標來計算轉換矩陣T。

圖2 雙目紅外相機及其配套工具Fig.2 Binocular infrared camera and its matching tools

2.1.2 醫用超聲設備以及圖像采集卡醫用超聲機是常用的B型超聲影像設備，用來采集超聲圖像。在超聲探頭上固定3個不共線的定位小球，方便紅外相機實時跟蹤超聲探頭的位置。圖像采集卡（圖3）用于將超聲機模擬串口的輸出數據通過模數轉換成為灰度圖像，并讀取到計算機內存中，供軟件三維重建使用。

圖3 圖像采集卡Fig.3 Image acquisition card

2.2 軟件

本系統軟件的結構框圖如圖4所示，該系統可分為連接超聲機和雙目紅外相機、測量或導入標定數據、超聲圖像采集與保存、感興趣區域勾畫以及三維重建與可視化共5個模塊。系統成功連接超聲機和紅外雙目相機后，使用設備測量轉換矩陣；然后根據該矩陣，采集超聲圖像陣列，并根據空間位置關系重建出三維結構。醫生可以通過交互窗口，對重建后的結構進行平移、旋轉、縮放等操作。如有需要，可對超聲圖像進行感興趣區域勾畫。根據該框架設計的軟件各模塊功能示意圖如圖5所示。軟件采用結構化設計，耦合性低，可擴展性高。在設計時主要分為紅外相機模塊、超聲模塊、重建模塊、用戶勾畫模塊。

圖4 系統結構圖Fig.4 System structure diagram

圖5 軟件功能示意圖Fig.5 Diagrams of software functions

2.2.1 紅外相機模塊紅外相機作為定位的關鍵設備，是整個軟件系統工作的核心，為重建的體數據填充提供圖像的絕對位置信息。本系統將相機的開發包進行封裝，以靜態庫的形式導入軟件鏈接器路徑中，松耦合，可獨立開發。標定和采集的過程都需要連接相機，如果紅外相機未連接，則不能采集圖像，只能導入硬盤中的圖像數據。

2.2.2 超聲機模塊超聲機模塊的作用是采集超聲圖像，搭配圖像采集卡，可將超聲機模擬串口的數據轉化為RGB 視頻格式，最終將灰度圖讀取到計算機內存中。標定和采集的過程也都需要連接超聲機。

2.2.3 重建模塊重建模塊是使用VTK 填充、渲染及可視化的，VTK內部封裝了OpenGL的三維可視化技術，使用對象化設計思想，提供標準化接口，可供設計者定制化開發。

2.2.4 用戶勾畫模塊用戶勾畫模塊基本的設計思想是一種掩模的思想，在待勾畫的超聲圖像上蓋上一層掩模（Mask），對這一圖層進行勾畫操作，之后覆蓋在原超聲圖像上。

3 系統實驗結果圖

實際操作中，受實驗條件所限，重建物體為水槽中的一個由硬質塑料棒穿過的塑料球體。對標準乒乓球（直徑40.00 mm，質量2.53～2.70 g）進行三維重建后的圖像如圖6所示。醫生可以根據需求對圖像進行平移、旋轉、伸縮等基本操作以便觀察。

圖6 三維重建后的圖像Fig.6 Image after three-dimensional reconstruction

經過實驗，由游標卡尺測得得實驗所用乒乓球直徑約為39.72 mm，與標準乒乓球的直徑誤差約為0.28 m。而通過系統測得超聲圖像中乒乓球的直徑平均像素坐標差為102.94 個像素，約合實際直徑為39.59 mm，與實驗所用乒乓球直徑的絕對誤差的平均值約為0.53 mm，方差為0.333 9，標準差約為0.577 8。考慮到手工測量的誤差以及超聲圖像本身的性質，基本可控制圖像誤差在0.5 mm 級別（個別區域在1.0 mm 級別），與超聲圖像分辨率（也即像素距離0.384 6 mm）較為接近，具有較高的準確性（表1）。

表1 系統實驗結果表Tab.1 Result of system measurements

由表2可以看出，圖像的讀取時間隨著圖像的張數基本成正比例關系，隨著圖像張數增加至443 張，耗時達48 s左右，因為圖像的數量較多，圖像的分辨率為1 024×600，大小是600 k，443 張圖片約合260 M，時間尚可接受。

表2 圖像讀取與重建效率Tab.2 Efficiency of image reading and reconstruction

圖像重建方面，可以觀察到使用四線程時，如果圖像數量較少，重建速度提升較少；而圖像數量較多時，重建速度顯著提升3 倍以上。當圖像數量在200張左右時（大概可供使用者采集6 s），重建用時在10 s以內即可完成，具有較高的效率。

4 結論

三維超聲成像技術具有直觀、清晰、經驗依賴少，便于影像融合等優點，綜合了臨床醫學、計算機技術、光學、機械等多方面技術，也是由臨床需要、科技進步以及商業利益共同催生的［16］，在近年來一直是國內外專家學者的研究對象。

本系統主要研究了基于雙目紅外相機定位的自由式三維超聲圖像重建系統，并完成了桌面級軟件平臺的搭建。使用雙目紅外相機與定位小球采集到的超聲圖像陣列位置信息完成體數據的填充。借助Qt、VTK、OpenCV 等開發框架對醫學影像的支持完成開發工作。Qt 主要的角色是GUI設計、事件調度以及消息管理，以提供更好的交互性能，使得系統人機友好，便于使用；VTK 則實現了三維重建與可視化功能；OpenCV 框架是圖像處理算法的開源框架，對算法進行封裝可以實現功能擴展，使軟件支持底層算法的定制化開發。整個軟件系統可以實現超聲圖像的標定、采集與重建，比較準確地還原物體的三維結構，對于未來科學研究，甚至是進一步走向臨床，開展創新創業活動，奠定了良好的基礎。