基于TOF+CCD相機組合標定的EEG電極定位

邱會麗,何 煜,程 徐,趙 萌,陳勝勇,

(1.天津理工大學 計算機與通信工程學院,天津 300384; 2.浙江工業大學 計算機科學與技術學院,杭州 310023)

0 概述

腦電圖(Electroencephalogram,EEG)技術具有很高的研究價值[1],其中一個重要研究領域就是如何準確定位產生頭皮信號部分在大腦皮層中的位置[2-5]。目前有5類EEG電極信號定位方法,分別是人工方法、電磁射頻數字化儀器、核磁共振輔助方法、超聲波透射和反射方法以及攝影測量方法[6]。人工方法十分耗時耗力,并且很容易因為人工操作造成誤差。電磁射頻數字化儀器是目前應用最多的定位方法,工作原理是通過磁場去定位EEG電極的位置,精度在4 mm以內,速度比人工方法快很多。缺點是單點測量容易出錯,要獲取精確的結果需要多次重復測量。再有對整體測量環境要求苛刻,不能有金屬器物,對空氣濕度溫度敏感,并需要額外的數據轉換工具。磁核共振輔助方法具體實現需要額外的標定物,不適用于多傳感器的情況。超聲波方法同數字電磁轉換方法一樣對環境要求苛刻,并且需要單點測量,十分耗費時間精力。以上幾種方法的一個共同缺點是本身電信號會對EEG信號產生干擾,影響最終檢測結果。相比其他方法,攝影測量方法具有快捷、精確、簡單操作的特點。

在攝影測量方法基礎上,本文設計一款針對深度相機的標定板,用飛行時間法(Time of Flight,TOF)直接獲取沒有徑向畸變的點云數據代替分辨率低的深度圖像,與CCD相機標定。

1 相關工作

文獻[7]使用11組工業相機來對電極位置進行定位,精度達到1.27 mm,操作過程簡單,不需要受試者參與很長時間,也不需要額外裝置。從裝置設備調整參數,到拍攝完畢,只需15 min～20 min時間,而后續數據處理不需要受試者參與,給醫生、病人都帶來極大方便。其工作原理是利用計算機視覺的立體匹配思想,對不同位置相機標定,配準不同角度下同一電極位置的三維信息。其缺點一是必須人工標記每幅圖像的電極點,容易造成人工誤差;二是這套系統只適用于自己特定設計的電極帽,不適用與其他類型的電極帽,而其他傳統方法沒有這個限制,任何電極帽都可適用;三是這套系統只能識別可見的電極點,對于隱藏在頭發下而不可見的電極點將無法識別。電磁數字方法與超聲波方法沒有這個限制[8]。文獻[9]利用kinect相機,搭建出一套攝影測量系統,但kinect相機所獲取的深度圖像需要一系列的修復去噪工作。文獻[2]利用一套8相機的紅外快速移動采集系統(IR-MOCAP)來定位源信號。但是其同樣必須使用特定的電極帽,因為在每個電極上都安裝了反射器,以便紅外相機識別采集。文獻[6]采用一個相機實現定位,希望能夠減少成本,工作過程是根據提前規劃好的路線去轉動相機,每隔一個角度拍攝一次。該方法雖然減少了成本,但是病人測試過程中必須保持長時間不動,增加了人為誤差,并且增加了數據采集時間。

利用深度圖像與彩色圖像的融合,對EEG電極定位有重要的應用意義。文獻[10]利用彩色圖像邊緣信息作為指導,將深度圖像分辨率放大增益并無損降噪。但是2種相機的標定校準是圖像融合最重要的一環。與普通相機的校準不同[11],TOF相機標定面臨的最大挑戰是深度圖像的畸變與低分辨率帶來的影響[12]。深度相機標定校準的方法有多種。文獻[13]提出了多相機立體融合的方法,利用雙相機估計視差匹配。文獻[14]利用混合參數方法實現深度相機與彩色相機的標定,改進了標定的算法,將非線性算法改為線性,提高了效率與精度。文獻[15]在視差圖像標定算法的基礎之上,利用泰勒公式簡化視差畸變模型,改進了算法。文獻[16]采用基于深度的前景分割方法,找出深度圖與彩色圖邊緣不匹配像素集合,利用基于聯合雙邊濾波的插值算法對空洞進行補充。但是這些方法都是集中在內部校準建模、系統誤差噪聲,外部校準也是一個重要因素。最近有學者提出利用一種新設計的標定板,充分利用深度相機的特性,將深度圖像的畸變與低分辨率影響降到最低,并執行光線校正,距離偏差校正,精度有很大提高[17-18]。

2 實驗原理

2.1 實驗設備

本文采用一種新型的深度相機(MESA-SR-4000,176×144像素),利用TOF技術直接計算獲取物體的距離或深度信息。TOF相機的基本原理如圖1所示,由相機的LED光源發射紅外光線到目標物體,TOF相機檢測由物體反射的光線,然后通過計算所檢測到的出射光和放射光之間的相位差,就可以得到目標物體的深度信息[19]。其中出射光和放射光之間的相位差是由4個控制信號收集的電荷量計算得到,每個控制信號之間的各有90°的相位延遲,如圖2所示。

圖1 TOF相機基本原理

相位φ由下式計算得到:

(1)

其中,C1～C4代表每一個控制信號的電荷量。因此,深度D就可以通過光速c和信號的頻率f計算得到:

(2)

由于現有深度相機的分辨率不高,不能直接識別EEG的電極位置。而彩色相機可以獲取拍攝目標的顏色、紋理等二維信息,所以本文將兩者結合起來同時獲取場景內物體的距離以及顏色信息。即搭建基于RGB-D[20]多模態數據的腦電信號采集系統。首先,用彩色相機(1 624×1 234像素)和深度相機聯合采集圖像,如圖3所示。其中:彩色相機負責拍攝含有電極的彩色圖,以便可以在圖像中方便的檢測到EEG電極并獲取電極的二維信息;深度相機負責獲取含有電極的點云數據,以便可以得到電極的距離或深度信息。其中關鍵問題是對2個不同相機的標定。本文選用5個相機組分別在5個角度對實驗目標進行拍攝,5個角度分別位于頭部的前后左右和頂部。鑒于目前實驗設備的不完備,本文用同一個相機組分別在頭部的5個角度進行拍攝。經實驗證明,這5個角度拍攝到的數據可以包含到所有的電極信息。

圖3 相機組

根據TOF相機的感知范圍的精度分析,TOF相機最佳拍攝距離為0.5 m～8 m之間。系統搭建示意圖如圖4所示。通過多個角度獲取實驗目標的RGB-D數據,圖4即為5個相機組系統。周邊4組相機每組相機采用30°角俯拍,平均分布在頭模型前后左右4個方向,中間正上方一組俯拍。模具距離相機的水平距離是60 cm,垂直距離是40 cm。

圖4 系統搭建示意圖

2.2 相機標定

傳統經典的相機組標定方法,利用TOF相機獲取的深度圖與CCD相機獲取的彩色圖標定[17]。但是深度圖像素過低,不清晰,結果很不穩定。因此,本文采用精確的點云數據和新型的標定板來做相機標定。2種方法的對比實驗將在下一部分具體介紹。

相機標定過程[14]設計如下:

假設Q為空間中一點,相機坐標系統下其坐標為(xc,yc,zc)T。點Q在歸一化圖像中的投影是Xn:

(3)

考慮到鏡頭畸變,以上坐標映射為Xd:

(4)

最后,由Xd映射到圖像坐標Xq:

(5)

其中,fx、fy分別是x方向和y方向的焦距,cx、cy是主點坐標。

相機組之間的關系可以描述為點Q在2個相機坐標系下坐標的關系。假設Xcd是點Q在TOF相機坐標系下的坐標,Xcc是點Q在CCD相機坐標系下的坐標,它們的關系可以寫為

Xcc=RXcd+T

(6)

其中,R是3×3的旋轉矩陣,T是3×1的平移矩陣。標定的目標便是求解出旋轉矩陣R以及平移矩陣T。

3 實驗與結果分析

3.1 改進的相機標定

深度相機所獲取的深度圖像,其像素值代表所攝物體到相機的距離。因圖像對距離信息敏感,文獻[18]提出一種新型的2.5維的標定板,如圖5所示,圖5(a)是標定板彩色圖像,圖5(b)是標定板深度圖像。特征點是標定板每個圓孔的中心,充分利用深度圖像的特性,提高了相機配準的精度,簡化了算法復雜度。

圖5 2.5維標定板

標定具體過程如下:

1)提取特征點:首先選取感興趣區域(ROI),自動閾值二值化,去除圖像噪聲,放大圖像洞的形狀。然后計算連通區域,計算每個連通區域的中心,如圖5(c)所示。以連通區域的中心作為特征點。

2)擬合特征點:對取到的每一列每一行特征點采用最小二乘法進行擬合,以減少會出現的位置誤差,如圖5(d)所示。然后利用2.2節介紹的標定方法進行標定。

盡管以上方法提高了配準精度,但是深度圖本身的徑向畸變,尤其邊緣偏差相差很大,如圖6(a)所示。盡管采用擬合特征點的方法降低了一些誤差,但是仍有提高空間,因此本文在文獻[18]結果的基礎上提出采用TOF獲取的點云數據,替換掉原先采用的深度圖,以最大限度消除因為深度相機鏡頭帶來的徑向畸變,從而提高標定精度。具體過程如下:

1)對點云插值因。相機分辨率較低,為獲得更精確的數據,系統利用雙線性插值算法對點云數據進行插值,使得其分辨率與彩色圖一致,如圖6(b)所示。

2)將點云轉換為二維圖像。由于點云是三維數據,無法直接與彩色圖進行標定,因此需要將點云轉換為二維圖像。本文采用針孔模型作為理論依據,將三維坐標投影到二維平面,如圖6(c)所示。

比較圖6(a)與圖6(c)可知,圖像的徑向畸變與切向畸變都有很大改善。根據2種方法得出的結果,對比2組點轉換之后的距離誤差,結果如圖7所示。橫坐標代表100個數據點,縱坐標代表標定前后2點的距離差。由圖中數據可知標定誤差由原先平均3.51 mm降到了1.06 mm。

圖7 2種方法結果對比

在相機標定過程中,畸變是相機自身誤差的主要來源,而標定誤差對EEG定位系統的精度有很大影響。TOF相機可以同時獲取深度圖以及三維點云,但是深度圖普遍具有低分辨率、空洞、鏡頭畸變等等問題。為改善這些不足,利用深度圖與彩色圖進行2種傳感器的標定是普遍的方法,但過程較復雜而效果卻不穩定。而TOF相機所獲取的三維點云卻不受這些影響,但需要精確地將三維點云投影到二維圖像上再與彩色圖進行標定。本文的實驗結果證明了利用三維點云替代深度圖所獲取的標定精度有很大提高。

3.2 電極定位

為精確定位電極的空間位置,需要計算出電極在彩色圖中的位置信息,再由3.1節標定所計算得到的變換關系,映射到深度圖中EEG電極所在的位置,從而定位出EEG電極的空間三維位置。

通過檢測各個角度彩色圖的連通區域,計算出EEG電極二維圖像中的精確位置。在彩色圖中檢測電極時,由于本文用到了真實的電極帽,在電極帽檢測過程中會有很多的干擾。為了能夠準確地檢測到電極,本文進行如下實驗:用合適的閾值對彩色圖像進行二值化,如圖8(a)所示,圓圈里的便是干擾點;在選取ROI之后,計算出所有的連通區域,進行標記,并計算出每個連通區域的面積;調整合適的面積閾值,將大于閾值的連通區域保留,小于閾值的連通區域進行濾掉;計算保留下來的連通區域的中心,該連通區域中心即為電極點的中心,用該中心點的坐標作為電極的位置,如圖8(b)所示。

圖8 真實電極帽EEG電極檢測

電極的三維坐標信息由3.1節的變換關系映射得到,如圖9所示(以角度1為例),圖9(a)為彩色圖中獲取的電極信息標記,圖9(b)為映射到深度圖像中的對應電極信息,圖9(c)為對應點云數據中的電極信息。

圖9 EEG電極配準結果

重建整個腦部模型以及電極點位置[21]。利用svd算法將不同角度點云以及電極點轉換到同一坐標系下[22]。其中,圖10(a)是傳統標定方法的配準效果圖,圖10(b)是標定改進后的效果圖。最明顯區別是在同一角度下傳統方法沒有顯示出最邊緣電極點(畫紅線處,見電子版)。

圖10 所有EEG電極的配準結果

為使實驗數據更加精準,本文以另一組實驗對象來驗證所提算法。實驗流程如圖11所示(以角度1為例)。最終配準效果如圖12所示。

圖11 實驗對象2流程

圖12 實驗對象2配準效果圖

在EEG定位系統中,電極的錯誤定位可能造成源的錯誤定位,因此電極定位的精度在系統中是很重要的評價指標。標準的系統定位誤差由下式給出:

(7)

其中,X、Y、Z是估算的三維坐標,Xa、Ya、Za是通過Artec 3D的便攜式三維手持掃描儀Space Spider獲取的標準坐標值,其精度為0.05 mm。本文針對2組實驗對象分別做5次實驗取平均值,30個電極點的平均誤差如表1所示。實驗對象2的平均誤差如表2所示。傳統方法的電極點誤差如表3所示。

比較表1～表3的數據可以看出,表1的平均誤差為3.26 mm,表2的平均誤差為3.91 mm,表3的平均誤差為6.13 mm。臨床所廣泛使用的電磁數字方法誤差在3.86 mm～7.66 mm之間[4],可知改進之后的相機標定方法所實現的EEG電極定位系統的誤差是在可接受范圍之內的。

表1 改進后的30個電極點的定位誤差 mm

表2 實驗對象2的30個電極點的定位誤差 mm

表3 傳統的30個電極點的定位誤差 mm

4 結束語

本文通過TOF相機來獲取深度信息的特性,并將TOF相機與CCD相機相結合,得到電極的位置信息以及顏色信息。對于相機的標定,針對TOF相機對距離敏感的特性,設計一種具有深度特征的標定板。根據獲取的三維點云數據進行標定,將三維點云利用針孔原理映射到二維圖像,以消除因徑向畸變而帶來的誤差,運用雙線性插值的方法提高分辨率。相機的標定精度對整個系統的精度有很大影響,通過2組真人實驗,結果顯示,改進后的相機標定方法在精度上有很大提高,但深度相機的點云數據精度仍然有限,下一步將采用更高精度的相機以及采集更多的實驗數據來進行驗證。

致謝在此特別感謝實驗室成員薛佳樂與欒昊同學參與實驗。