李 姍
(1.河南省容錯服務(wù)器工程技術(shù)研究中心,河南鄭州 450046;2.河南職業(yè)技術(shù)學(xué)院,河南鄭州 450046)
海上交通的不斷發(fā)展,海上船舶的數(shù)量和類別不斷增加,海上交通管理部門為了快速、精準完成海上目標船舶的救援、目標船舶的管理等[1–2],會依據(jù)采集的海上船舶視覺圖像進行目標船舶的檢測。但是由于船舶處于移動狀態(tài)下,并且海上的環(huán)境復(fù)雜,采集的圖像受到環(huán)境因素的影響以及船舶自身移動的影響[3],會存在模糊情況,導(dǎo)致目標的識別精準性降低。因此,為保證目標的可靠檢測[4],需對采集的船舶視覺圖像中的目標進行清晰處理,以此提升目標的檢測精度。文獻[5],針對船舶目標重疊情況下的圖像處理需求,提出相關(guān)的圖像增強方法,該方法主要通過增強圖像的視覺效果,完成圖像清晰處理。但是該方法在應(yīng)用過程中,如果圖像中存在虛影現(xiàn)象時,其處理效果相對較差。文獻[6]為提升圖像的清晰度,以多尺度耦合的密集殘差網(wǎng)絡(luò)為基礎(chǔ),進行圖像分辨率的重構(gòu)處理后,實現(xiàn)圖像增強,提升圖像清晰度。但是該方法在應(yīng)用過程中,如果圖像目標較小則處理效果不理想。
三維視覺是依據(jù)圖像中像素點之間的相似性,計算像素之間的位置偏差,并確定船舶視覺圖像三維空間在深度點信息。本文結(jié)合三維視覺優(yōu)勢,研究船舶三維視覺圖像模糊目標清晰處理仿真方法。
為保證圖像模糊目標的清晰處理結(jié)果,采用立體雙目視覺獲取船舶模糊圖像的三維信息。立體雙目視覺是通過2個視點對相同目標進行觀測,以此獲取同一個場景下的2幅圖像。2 個觀測面的模糊核路徑和三維空間內(nèi)的某種運動路徑相對應(yīng),同時模糊核之間存在相對關(guān)聯(lián)性。結(jié)合船舶的線性運動,設(shè)定項集參變量映射矩陣,用P表示,3D齊次坐標系內(nèi)的位置點用 (x,y,z,1)表示,將其進行映射處理后使其位于2D觀測面內(nèi),該觀測面內(nèi)坐標系的點用 (u,v,1)表示,則(x,y,z,1) 和(u,v,1)之間的相對關(guān)聯(lián)性表達公式為:
式中,d為相機的景深。
模糊核路徑在不同觀測面內(nèi)也呈現(xiàn)不同的變化,因此,定義運動模糊核路徑為空間狀態(tài),且該狀態(tài)不會發(fā)生變化,以此保證運算效果。如果船舶在該空間內(nèi)運動,起點和終點分別為P和Q,P為可逆的,則依據(jù)式(1)計算得出 (x,y,z)。在該基礎(chǔ)上,對2個觀測面之間的運動映射關(guān)聯(lián)性進行計算,如果2 個觀測面的投影分別為至至則模糊圖像3D空間內(nèi)船舶的運動位移計算公式為:
模糊圖像內(nèi),將沿著圖像空間路徑運動的船舶目標進行投影處理,使其均位于不同的觀測面上。各個觀測面投影后的路徑存在一定區(qū)別,隨機選擇對空間路徑上的點進行投影處理,以此可獲取一組點對并且兩者均位于各自對應(yīng)的模糊路徑上。對模糊核的軌跡進行離散化處理,獲取該處理下模糊核路徑之間的關(guān)聯(lián),其公式為:
式中,k表示離散編號。
通過上述內(nèi)容即可獲取船舶模糊圖像內(nèi)容特征之間的三維幾何信息B。
由于船舶處于運行狀態(tài)下,因此會導(dǎo)致采集的船舶圖像中發(fā)生多個模糊運動區(qū)域,因此,需先確定船舶目標的模糊區(qū)域[7],并且進行該區(qū)域的模糊分割,本文采用局部模糊探測方法完成。
該方法主要以像素的權(quán)重變量為基礎(chǔ),實現(xiàn)船舶模糊圖像中模糊層分割,以此獲取模糊船舶目標圖像。
如果權(quán)變量用W表示,依據(jù)W的船舶運動場景去模糊廣義能量模型表達公式為:
式中:Edata,Ereg分 別為數(shù)據(jù)保真項和正則化項;L和B分別為潛在清晰圖像和三維信息;K為模糊核矩陣集合;W為權(quán)重變量集合,其和K之間一一對應(yīng)。
Edata(L,W,K,B)可理解為多個模糊型數(shù)據(jù)項的加權(quán)和,其計算公式為:
式中:N為分割層數(shù); ??表 原始船舶圖像的梯度。 λ為正則化參數(shù)的平衡因子;表示乘積運算。
由 船舶運動場景在進行模糊分割時具有顯著病態(tài)特征,因此在分割過程中,引入正則化項,確保分割后圖像的光滑性。對L,W,K分別添加正則化約束,其表達公式為:
通過全變分正則化項替代L的先驗信息,圖像的分割組依據(jù)非局部正則化完成,分割公式為:
式中: ξ(x)為x的鄰域像素;g(x,y)為非局部相似性映射矩陣,用于描述x和y處像素之間的相似程度。
依據(jù)上述步驟即可獲取權(quán)重變量加大的圖像分層結(jié)果,該結(jié)果即為船舶模糊目標圖像分割結(jié)果Iin。
完成船舶模糊目標圖像分割后,采用殘差聚集網(wǎng)絡(luò)模型進行模糊目標清晰處理,獲取清晰的船舶目標圖像。將分割后的船舶模糊目標圖像輸入殘差聚集網(wǎng)絡(luò)模型中,采用中值濾波對其進行濾波操作,從分割后的圖像中將低頻信息Il進行分離處理,將Iin中的Il去除后即可獲取其中的高頻信息Ih,其計算公式為:
獲取Ih中的低維特征,其采用低維特征提取器完成,其計算公式為:
式中:Ts f為幾乎函數(shù)的組合操作;Fsf為輸出的特征圖。
為了提升模糊目標的清晰處理效果,采用堆疊的方式對多個殘差模塊進行處理,以此獲取圖像中目標船舶的高維特征信息。依據(jù)該模塊的稠密連接性能,完成提取特征的連接,經(jīng)由殘差變換模塊的壓縮和蒸餾提取處理后,得出高維特征,其計算公式為:
式中:TRAB為 殘差模塊提取的特征;M為堆疊的殘差模塊數(shù)量;Ff f為高維特征的輸出結(jié)果。
通過殘差圖生成器對殘差圖Frm進 行估算,其計算公式為:
式中,Trm為卷積和歸一化的組合操作。
將Frm從Iin中刪除,即可獲取清晰化處理后的高質(zhì)量目標圖像,其計算公式為:
為驗證本文方法的應(yīng)用效果,在跨平臺計算機視覺和機器學(xué)習軟件庫-Op en CV 中進行仿真測試,OpenCV 庫能夠提供多種語言接口,支持圖像處理和計算機視覺方面的應(yīng)用。在OpenCV 庫中進行相關(guān)測試過程中,視覺分塊區(qū)域的大小為256×256×224,特征匹配系數(shù)為1.25,測試時的船舶圖像數(shù)量為200張,該數(shù)據(jù)是采用雙目立體視覺相機采集。
為驗證本文方法對于船舶圖像模糊目標的清晰化處理性能,文中采用圖像對比度 ψ、邊緣強度 η以及圖像方差 σ作為衡量標準,進行相關(guān)測試,3 個指標的計算公式為:
式中:S為相減的平方項;f(i,j)和f(k,l)均為灰度值,前者對應(yīng)像素點 (i,j) ,后者對應(yīng)(i,j) 的四鄰域(k,l);gi,j為邊緣點;Nedge為像素點數(shù)量,對應(yīng)邊緣區(qū)域;M×N為圖像大小;μ 為平均灰度值。
依據(jù)上述3個公式計算本文方法在不同像素點數(shù)量下,對圖像進行清晰處理后,3個指標的計算結(jié)果,如表1所示。3個指標的取值均在0~1之間,越接近1表示應(yīng)用性能越佳。依據(jù)表1測試結(jié)果可知:隨著像素數(shù)量的不斷增加,采用本文方法對圖像進行清晰處理后,圖像的 ψ , η以 及 σ的測試結(jié)果均在0.933以上,因此本文方法的應(yīng)用性能較好,能夠有效完成船舶圖像模糊目標清晰處理。

表1 船舶圖像模糊目標的清晰化處理性能Tab.1 Clear processing performance of blurred targets in ship image
為直觀驗證本文方法的應(yīng)用效果,隨機抽取一組船舶模糊圖像進行模糊目標清晰處理,以圖像中標記的客船作為目標,本文方法處理后的結(jié)果如圖1所示。
依據(jù)圖1測試結(jié)果可知:本文方法具有較好的應(yīng)用效果,能夠有效完成船舶圖像中,模糊目標的清晰處理,獲取清晰的目標結(jié)果。因此,本文方法應(yīng)用性較好,可清晰呈現(xiàn)目標船舶結(jié)果。

圖1 圖像模糊目標處理結(jié)果Fig.1 Image blurred target processing results
在進行海上交通管理或者救援時,需精準掌握目標船舶的信息。但是由于海上環(huán)境變化較大,并且復(fù)雜程度較高,同時船舶的類別和數(shù)量較多,導(dǎo)致采集的船舶圖像中會存在模糊現(xiàn)象,直接影響目標船舶的識別效果。因此,本文研究船舶三維視覺圖像模糊目標清晰處理仿真方法。對該方法進行相關(guān)測試后可知,本文方法具有較好的應(yīng)用性能,能夠有效完成模糊目標的清晰處理,為海上交通管理提供可靠依據(jù)。