基于影像的多特征信息提取

馮 超 崔國慶

(1. 陜西能源職業(yè)技術(shù)學(xué)院, 陜西 咸陽 712000;2. 國家測繪地理信息局第一地形測量隊(duì), 陜西 西安 710054)

0 引言

現(xiàn)如今,基于計(jì)算機(jī)視覺系統(tǒng)提取影像特征信息已成為熱門研究趨勢(shì),其分析的具體目的是使計(jì)算機(jī)軟件具備類似人們的視覺效果的工作能力,得到三維場景的圖形信息是其最本質(zhì)的研究內(nèi)容。機(jī)器視覺技術(shù)在工業(yè)用品的產(chǎn)品造型設(shè)計(jì)、三維輪廓精準(zhǔn)測量等層面有著廣泛的應(yīng)用前景,是當(dāng)今國際上的熱門課題之一。尤其是在一些人們視覺效果沒法認(rèn)知的場所,如精準(zhǔn)定量分析認(rèn)知、風(fēng)險(xiǎn)情景認(rèn)知、不可見物件認(rèn)知等層面, 常見計(jì)算機(jī)視覺來代替人力視覺效果,用計(jì)算機(jī)視覺檢測系統(tǒng)可以大幅度提高效率和制作的智能水準(zhǔn)[1-4]。

國際上,計(jì)算機(jī)視覺技術(shù)近些年發(fā)展趨勢(shì)迅速,尤其是在一些高新技術(shù)的優(yōu)秀行業(yè)獲得廣泛運(yùn)用。但國外硬件要求高,成本價(jià)格昂貴、軟件在研發(fā)過程較復(fù)雜,圖像解譯算法較多,無法滿足多數(shù)平臺(tái)的要求。現(xiàn)階段,伴隨著中國配套設(shè)施基礎(chǔ)設(shè)施建設(shè)的健全以及技術(shù)、資產(chǎn)的累積,計(jì)算機(jī)視覺技術(shù)在以上方面的使用也在慢慢被認(rèn)知,逐漸開始在藥品檢驗(yàn)散裝、包裝印刷顏色檢驗(yàn)、工業(yè)生產(chǎn)當(dāng)場等行業(yè)運(yùn)用,但真正采用航空攝影機(jī)器視覺技術(shù)進(jìn)行精密加工精確測量的應(yīng)用還很少。尤其是近些年,計(jì)算機(jī)輔助設(shè)計(jì)(computer aided design,CAD)技術(shù)的飛速發(fā)展為創(chuàng)建物體的幾何模型搭建了良好的平臺(tái),絕大多數(shù)工業(yè)生產(chǎn)構(gòu)件的幾何圖形類型都是有對(duì)應(yīng)的CAD數(shù)據(jù)信息,怎樣合理地使用這種CAD數(shù)據(jù)信息作為照來點(diǎn)評(píng)產(chǎn)品的圖形精密度變成近些年的科學(xué)研究網(wǎng)絡(luò)熱點(diǎn)[5]。本文主要從兩個(gè)方面進(jìn)行考慮,一是針對(duì)計(jì)算機(jī)視覺技術(shù)的關(guān)鍵算法,通過點(diǎn)線面狀要素解譯進(jìn)行改進(jìn)和優(yōu)化,提高算法的精度;另一方面是在對(duì)影像多特征的提取中,實(shí)現(xiàn)基于視覺模型的非參數(shù)曲線的自動(dòng)提取尋找更符合此視覺模型的影像評(píng)價(jià)函數(shù),充分利用已有的計(jì)算資源來提高處理效率。

1 研究區(qū)域概況及方法

研究區(qū)域位于寧夏回族自治區(qū)銀川市東南約44 km的上海廟鎮(zhèn)的鷹駿一號(hào)煤礦,行政區(qū)劃隸屬內(nèi)蒙古自治區(qū)鄂托克前旗上海廟鎮(zhèn)管轄,其北部為鷹駿二號(hào)井田,西部為榆樹井井田,南部邊界以長城為界。本次主要測量鷹駿一號(hào)煤礦鐵路專用線推薦方案沿線地形地物以及取棄土場周邊地形地物,如圖1所示。攝影測量是測繪工程課程的一個(gè)支系,它的具體目的之一是從非接觸式影像中獲得靠譜而且精準(zhǔn)的量測信息內(nèi)容。航空攝影進(jìn)入數(shù)據(jù)信息拍攝階段,通過高清攝像機(jī)在野外采集影像數(shù)據(jù),基于計(jì)算機(jī)視覺系統(tǒng)進(jìn)行數(shù)據(jù)處理,并不一定是全部機(jī)器視覺應(yīng)用都牽涉到精確測量問題。航空攝影與機(jī)器視覺的關(guān)鍵差別是航空攝影注重細(xì)節(jié)與測量精度。由于航空攝影的歷史背景來自測繪工程課程內(nèi)容,可以馬上應(yīng)用精準(zhǔn)測量領(lǐng)域所擁有的各式各樣的平差基礎(chǔ)知識(shí)和方法,如精準(zhǔn)測量統(tǒng)計(jì)分析方法——小二乘除法梯度下降法求得圖形就緊緊圍繞于航空攝影的整個(gè)過程[6-7]。

1.1 點(diǎn)狀特征

點(diǎn)特征主要包含以下三種提取方法,分別是：

(1)興趣算子法。興趣點(diǎn)比較容易被獲取,對(duì)數(shù)據(jù)信號(hào)噪音、圖像互換、各種各樣主要參數(shù)轉(zhuǎn)變具備不錯(cuò)的可擴(kuò)展性。

(2)基于小波變換的邊緣點(diǎn)提取法。運(yùn)用根據(jù)小波分析的多尺度剖析基礎(chǔ)理論,先向圖像作小波分析,測算小波分析的模值。

(3)角點(diǎn)檢測法。角點(diǎn)測定法是根據(jù)灰度進(jìn)行的,根據(jù)像素點(diǎn)行業(yè)的灰度級(jí)轉(zhuǎn)變,測算點(diǎn)的折射率及梯度方向來檢驗(yàn)角點(diǎn)。

此外也有一些在這幾類算法的基本上開展優(yōu)化的算法,主要適用于自身的科學(xué)研究。這類算法各具優(yōu)點(diǎn)和缺點(diǎn),有參考文獻(xiàn)對(duì)以上五種算法開展了特性評(píng)定,霍夫(Harris)算法則被覺得是特性平穩(wěn)、可擴(kuò)展性最強(qiáng)的。以上優(yōu)化算法針對(duì)處理圖像融合、相機(jī)標(biāo)定等領(lǐng)域都能充分發(fā)揮自身的優(yōu)點(diǎn);但在一些自動(dòng)化要求高的特征提取中利用上述算法就不能很好地得到想要的信息。[8-9]

1.2 線狀特征

線特點(diǎn)具有非常明顯的線條特征,假如圖像中在一對(duì)鄰近界限正中間出現(xiàn)一個(gè)十分窄 (理想化狀況下總寬為1個(gè)清晰度)的條狀地區(qū),并在該條狀地區(qū)中的灰度具備幾近同樣的振幅特點(diǎn),則稱該條狀地區(qū)為線[10-11]。邊沿是影像部分區(qū)域特征不一樣的這些區(qū)域之間的交界線,如房屋建筑、路面的邊沿等,這也是一種條狀特點(diǎn)。有參考文獻(xiàn)里將造成這類變動(dòng)的緣故歸納如下：①不一樣的目標(biāo)物的臨接,即由目標(biāo)物的界限組成；②目標(biāo)表層光的折射特點(diǎn)的轉(zhuǎn)變,即表層的圖案設(shè)計(jì)差別產(chǎn)生界限；③目標(biāo)表層三維限度的轉(zhuǎn)變,即三維類型在圖像中引發(fā)的邊界效應(yīng)；④照明光強(qiáng)度或方位的轉(zhuǎn)變,即黑影在圖像中引發(fā)的邊界效應(yīng)。

現(xiàn)階段,國內(nèi)與國際上比較常用的線特征提取方法如下。

1.2.1霍夫變換(Houghtransform,HT)

明確出該曲線圖的敘述主要參數(shù),進(jìn)而獲取影像中的標(biāo)準(zhǔn)曲線圖(線特點(diǎn))。

HT轉(zhuǎn)換檢驗(yàn)已經(jīng)知道參數(shù)方程的曲線圖(線特點(diǎn)),只需根據(jù)將點(diǎn)投射到相匹配的主要參數(shù)空間,決議出的主要參數(shù)空間較大點(diǎn)的坐標(biāo)便是該曲線圖的主要參數(shù)。但無論對(duì)哪種 HT轉(zhuǎn)換,均需事先得出被檢驗(yàn)曲線圖的方程式或形狀即可求得。其檢測參數(shù)曲線f(x,a)= 0的算法可描述如下：

(1)在參數(shù)a的范圍內(nèi)量化參數(shù)空間,參數(shù)空間的位數(shù)n由向量a的參數(shù)數(shù)目給出。

(2)在適當(dāng)?shù)拈撝祷蟮奶荻扔跋裰?對(duì)每個(gè)影像點(diǎn)(x1,x2),計(jì)算其在所有的第1步使用范圍內(nèi)的a,增大所有的滿足f(x,a)= 0的累積單元A(a)為

(1)

1.2.2廣義HT變換的線特征提取

假設(shè)已知期望區(qū)域的形狀、尺寸和旋轉(zhuǎn)。邊界的方向(邊緣方向)在直線與區(qū)域邊界相交處得到。從圖2中可以看出,區(qū)域邊界的不同點(diǎn)x可以具有相同的邊界方向,ψ(x) =ψ(x’)。也就是對(duì)于每一個(gè)ψ有可能存在多于一對(duì)的(r,a),這就用來確定潛在的參考點(diǎn)坐標(biāo)。

圖2 廣義HT變換線性圖

創(chuàng)建R-表的幾何算法可描述如下：

(1)給期望物體構(gòu)建R-表秒素。

(2)形成一個(gè)表示潛在參考點(diǎn)的數(shù)據(jù)結(jié)構(gòu)A：A(x1,x2,S,τ),并令A(yù)(x1,x2,S,τ)為0。

(3)在閾值化后的梯度影像中,對(duì)每一個(gè)像素(x1,x2),確定其邊緣方向ψ(x),找到所有的潛在參考點(diǎn)xR。

(2)

增大所有的A(xR,S,τ)

(3)

從廣義視角來看,HT轉(zhuǎn)換也必須要徹底界定總體目標(biāo)物質(zhì)的精準(zhǔn)形狀,才可以精準(zhǔn)地獲取[12-13]。因此其提取具有復(fù)雜形狀的物體的前提是形狀是實(shí)現(xiàn)定義的。盡管出現(xiàn)一些其他的調(diào)整方式,促使其可以檢驗(yàn)并不了解精準(zhǔn)形狀的物體,其前提條件依然是得到用于類似物件實(shí)體模型的先驗(yàn)知識(shí)。

1.2.3 基于廣義點(diǎn)線攝影測量的線特征提取

從“相切方程式”考慮,在點(diǎn)航空攝影的歷程中提及的點(diǎn)便是物理學(xué)點(diǎn),例如,小圓點(diǎn)、角點(diǎn)、相交點(diǎn)等。根據(jù)“共面方程式”的平行線航空攝影所涉及的則是物理學(xué)平行線,如房屋建筑的主架構(gòu)線等。生活中的很多物件由很多的曲線圖,其繁雜樣子既非由物理學(xué)點(diǎn)組成也不是由物理學(xué)平行線組成的,沒法立即運(yùn)用相切或是共面標(biāo)準(zhǔn)開展精準(zhǔn)獲取復(fù)建。對(duì)于不可以馬上用獨(dú)立數(shù)學(xué)課分析法描述的趨勢(shì)圖(斜坡),則可以先用許多條按段趨勢(shì)圖(斜坡)來描述,那樣就可以創(chuàng)建理論點(diǎn)航空攝影的數(shù)學(xué)分析模型[14-15]。

基于物理點(diǎn)的共線方程：

式中,像點(diǎn)a(x、y、-f)、攝影中心S(XS、YS、ZS)、與相應(yīng)地面點(diǎn)A(X、Y、Z)都位于在一條直線上。其中，a1、a2、a3、b1、b2、b3、c1、c2、c3是由三個(gè)外方位的角元素φ、ω、κ所生成的3×3的正交旋轉(zhuǎn)矩陣R的9個(gè)元素。

一般空間曲線的參數(shù)化表達(dá)為

(6)

式中,f(t)、g(t)、h(t)表示參數(shù)t在范圍(a,b)的區(qū)域間的變化時(shí)曲線上點(diǎn)的運(yùn)動(dòng)軌跡變化量。由廣義點(diǎn)攝影測量平差模型可知曲線提取的數(shù)學(xué)模型為

1.3 面狀特征

面特征是將圖形中顯著的地區(qū)信息內(nèi)容作為特點(diǎn)。地區(qū)型的基本特征是具備對(duì)比度較高的閉合地區(qū)的投射,例如，湖水、工程建筑、山林、市區(qū)等。閉合區(qū)域的存在是普遍的。在具體運(yùn)用中通常先獲取顯著的區(qū)域特征,把地區(qū)的重心點(diǎn)或圓的圓心點(diǎn)作為特點(diǎn),由于重心點(diǎn)對(duì)轉(zhuǎn)動(dòng)、放縮等轉(zhuǎn)換是不會(huì)改變的,并在隨機(jī)噪聲和灰度變化下是穩(wěn)定的。區(qū)域特征一般用切分的方式獲取,切分的精密度可以對(duì)配準(zhǔn)造成非常大的影響。圖像的切分可以與配準(zhǔn)全過程迭代開展。每一次迭代對(duì)特性給出簡單的對(duì)應(yīng),并用于具體指導(dǎo)調(diào)節(jié)切分的主要參數(shù)。

2 采取的研究方案、技術(shù)路線

2.1 點(diǎn)狀、面狀特征的提取

對(duì)于面狀特征先提取明顯的區(qū)域特征,區(qū)域特征一般用分割的方法提取,同時(shí)與配準(zhǔn)過程迭代進(jìn)行。

2.2 線狀特征的提取

(1)參數(shù)特征曲線。HT轉(zhuǎn)換可以從存有噪音的空間獲取出含有間斷點(diǎn)的主要參數(shù)曲線圖,其核心技術(shù)是將像素空間的點(diǎn)投射到主要參數(shù)空間,并統(tǒng)計(jì)分析邊沿清晰度處在主要參數(shù)空間某點(diǎn)的概率,概率最高值可根據(jù)“決議”得到。

(2)非參數(shù)特征曲線。對(duì)于一條非參數(shù)曲線(線特征),即曲線圖上的像素密度越大,則該非主要參數(shù)曲線圖的目標(biāo)曲線圖的可能性就越大。因而,非主要參數(shù)曲線圖的獲取問題可被視作在比較有限像素結(jié)合中選擇一子集合的排列與組合優(yōu)化問題。首先要給出非參數(shù)曲線的視覺模型,并以此為基礎(chǔ)設(shè)計(jì)曲線的評(píng)價(jià)函數(shù),通過評(píng)價(jià)優(yōu)劣進(jìn)而判定目標(biāo)曲線。

(3)對(duì)線狀特征提取出來后,以此為初值,采用攝影測量中經(jīng)典的平差方法—最小二乘模板匹配方法進(jìn)行線狀特征進(jìn)行精確的提取。

2.3 技術(shù)路線

本研究在后期的實(shí)驗(yàn)中,擬分別對(duì)模擬影像(隨機(jī)生成)和金屬鈑金件影像進(jìn)行實(shí)驗(yàn),并進(jìn)行實(shí)驗(yàn)精度分析，技術(shù)路線如圖3所示。

圖3 影像獲取技術(shù)路線

3 解決方案

(1)以基于視覺模型方法提取出的目標(biāo)線特征的初值,其好壞直接影響小二乘模板匹配的收斂性和精度。因此本文擬據(jù)此視覺模型為基礎(chǔ),采用影像匹配中的匹配測度函數(shù)為評(píng)價(jià)函數(shù),以此來判別影響中的目標(biāo)函數(shù)。

(2)本文在曲線的提取過程中擬采用局部的自適應(yīng)窗口化圖像預(yù)處理,以此二值化后的影像為基礎(chǔ)進(jìn)行初值的提取。

4 結(jié)束語

本文針對(duì)影像識(shí)別、機(jī)器視覺中自動(dòng)化量測中的特征提取問題進(jìn)行研究,實(shí)現(xiàn)如下目標(biāo)：①在對(duì)影像多特征的提取中,實(shí)現(xiàn)基于視覺模型的非參數(shù)曲線的自動(dòng)提取，在此過程中設(shè)計(jì)尋找更符合此視覺模型的影像評(píng)價(jià)函數(shù)。對(duì)影像中存在的點(diǎn)狀特征和面狀特征,分別實(shí)現(xiàn)對(duì)其的提取研究,對(duì)提取出來的影像特征進(jìn)行精度對(duì)比分析;②本文針對(duì)影像中多特征的提取問題,論述了影像特征提取的不同原理及方法，實(shí)現(xiàn)影像上多特征(點(diǎn)狀特征、線狀特征、面狀特征)的提取、設(shè)計(jì)尋找更符合基于視覺模型提取的影像評(píng)價(jià)函數(shù)，論述基于點(diǎn)線攝影測量的特征提取方法的原理和函數(shù)模型，對(duì)基于視覺模型的特征提取的初值采用最小二乘模匹配精確的定位線狀特征,從實(shí)驗(yàn)上對(duì)其進(jìn)行分析評(píng)價(jià)。實(shí)驗(yàn)表明,該方法能夠大幅提高無人機(jī)影像識(shí)別和機(jī)器視覺自動(dòng)化的幾何處理效率;同時(shí),該方法的圖像解譯精度較高、影像特征處理效果好,能夠滿足現(xiàn)階段高質(zhì)量數(shù)據(jù)分析的要求,為影像的多特征提取提供一條有效的技術(shù)路徑。