余煥偉 陳仙鳳 唐艷同 倪敏華 陳 松
(1.紹興市特種設備檢測院 紹興 312071)
(2.紹興市特種設備智能檢測與評價重點實驗室 紹興 312071)
(3.紹興市柯橋區質量計量檢驗檢測中心 紹興 312030)
進入21世紀以來,隨著微電子技術、傳感器和控制技術等快速發展,以多旋翼、鋰電驅動、輕量化和自動避障為特點的消費級無人機大大降低了無人機使用門檻,被廣泛應用于個人娛樂、農林業[1]、電力[2]、測繪[3]、地質災害防治[4]等行業,極大地推動了這些行業傳統工作模式的變革。目前市面上,消費級無人機主要采用鋰聚合物電池作為主要動力,多旋翼結構,造價低,操控能力好,續航能力一般為20~30 min。無人機在不同的行業都可找到合適的切入點,可搭載可見光相機替代人眼抵近觀察,也可以搭載多種類型的傳感器代替人類進入不容易到達的地方或危險區域進行相關作業,如熱成像儀[5]、光譜儀[6]、有害(可燃)氣體探測器[7]和合成孔徑雷達[8]等。
在不同行業或場景對通過無人機獲得的圖像數據的處理應用方式也不相同,一是直接利用圖像進行觀察或對圖像進行技術處理、特征提取后再進行觀察,然后做出決策。雷家杰等[2]利用紫外成像儀搭載在無人機上進行電力巡檢,可以發現絕緣子和導線表面由于裂紋、毛刺和破損產生的放電現象。趙延峰等[9]提出了一種基于改進Mask R-CNN的電力線自動提取算法,可實現復雜場景下無人機航拍圖像的端到端電力線提取,提高了無人機電力巡檢的準確性。在特種設備領域:2016年南京市特檢院研制的大型起重機金屬結構無人機載智能視覺檢測系統成功應用在大型起重機上,進行了金屬結構檢測,并運用數字圖像處理技術進行缺陷特征提取與識別[10];2017年廣東特檢院通過無人機系統實現包括常規的航拍、垂直攀爬檢查、懸停拍攝和紅外熱成像等功能,可以判斷大型特種設備是否存在異常,實現了對設備安全狀態的初步評估[11];2019年福建特檢院研究了基于無人機的大型起重機械檢測系統設計與應用,用來解決大型起重機械高空位置的金屬結構表面缺陷檢測問題[12]。無人機的另一種應用是無人機作為飛行平臺與傾斜攝影測量技術結合起來,獲取地面對象的地理位置和三維特征參數,用于地圖繪制、實景三維建模、三維測量等領域[13],常用的有單鏡頭和多鏡頭攝影測量系統,實現了以前傳統航空遙感測量的功能。楊永明[14]研究了無人機傾斜攝影測量原理和三維建模等關鍵技術,分析了傾斜攝影測量數據處理結果及其精度,結果表明實驗區圖像重投影均方根誤差都未超過1個像素,均方根誤差值最大為0.035 m。婁寧等[15]針對單體建筑物三維精細化建模問題,提出了以單鏡頭多旋翼無人機為載體的三維環繞式航線自動規劃方法,提升了單體建筑高分辨率影像數據采集的完整性、質量和效率。鄭爽[16]的研究表明無人機傾斜攝影能滿足1:500比例尺地形圖的測繪精度要求,比傳統方法提高約52%的效率,且能夠生成更為直觀的三維模型。
綜上所述,無人機平臺的出現極大地改變了傳統行業的作業模式,拓展了作業范圍,具有非常廣闊的應用前景。但在特種設備領域,無人機應用還是限制在拍攝和監控層面,即對目標對象只是單一的“看、察、巡”,而且應用條件比較單一,更不能實現智能檢測。本文將無人機傾斜攝影技術應用在觀光車路線坡度檢測領域,與傳統檢測方法進行了對比研究,具有檢測精度高、效率快的特點。
傳統的航空攝影通常是采用正射攝影技術,只能獲得地面物體下視角的影像,由于物體的側面被遮擋,幾乎沒有正射面以外的其他信息,適合于對側面紋理信息要求較低的場景。近些年發展起來的傾斜攝影技術改變了以往正射影像只能從垂直角度拍攝的局限,可從多個視角進行拍攝,能獲得更真實全面的地物的側面紋理信息和細節特征[17]。無人機傾斜攝影技術可以采用單鏡頭和多鏡頭攝影測量系統[18]:單鏡頭系統可以周向旋轉進行傾斜攝影得到同一建筑物不同角度的影像數據,適合較小的應用場景;多鏡頭攝影測量系統的多個相機能在同一時間曝光,同時獲得多個不同角度的影像數據,作業速度快,適合較大場景的應用。
無人機攝影測量是通過研究被拍攝物體的位置、形狀、大小及其相互間的關系,建立影像中重要的點、線和面之間的透視關系以及物方與像方之間的解析關系,在此過程中首先涉及的是多個坐標系(像素坐標系、圖像坐標系、相機坐標系和世界坐標系)之間的轉換。由無人機搭載相機的內參數再結合相機相對于世界坐標系的平移、旋轉等位置關系,就可以實現相空間到實際空間的轉換[19]。影像特征點提取與匹配是攝影測量中數據處理的另一個基礎環節,它是實現數字攝影測量自動化的關鍵技術。SIFT(Scale-invariant Feature Transform)對旋轉、尺度縮放、亮度變化、視角變化、噪聲等具有一定程度的穩定性,在影像的特征點檢查和提取中應用最為廣泛。當2幅影像的特征向量被提取后,就需要進行圖片兩兩之間的特征點匹配,當所有的兩兩匹配圖像對被確定以后,就可以考慮把多個圖像中都出現的共同特征匹配點連接起來。在已知空間點在多視影像上的像點和影像的投影矩陣的情況下,就可以通過“三角化”的方法解求初始像對空間點的三維坐標。如圖1所示,2個位置時刻相機光心分別為O1、O2,影像中像素匹配點為P1、P2,真實空間中地物點為P,在不考慮噪聲的理想情況下O1P1、O2P2應相交于P點,其對應的三維位置為P,那么應該滿足式(1),M1、M2為由初始影像對得到的投影矩陣。
圖1 2幅匹配影像的三角化
在實際情況下,由于噪聲干擾、匹配誤差等因素干擾,O1P1、O2P2是交于P′點,與真實點P不完全重合,現一般采用非線性優化方法求解最優的P,使重投影誤差最小,見式(2),Mi為第i張影像的投影矩陣,Pi為真實點P在第i張圖像中的像素匹配點。
本文選用大疆精靈Phantom 4 RTK無人機,搭載有RTK導航定位系統,配備1英寸2 000萬像素CMOS相機,支持輸出未經畸變矯正的原圖,并在照片XMP信息中輸出該相機的OPEN-CV畸變矯正參數,可用在第三方軟件后處理。單鏡頭相機與RTK模塊μs級時間同步,地面采樣距離GSD= (H/36.5) cm/pixel,H為飛行高度,當H=100 m時,GSD為2.74 cm/pixel。無人機遙控器內置航線規劃功能,飛行控制簡單,圖像能滿足GB/T 7930—2008《1:500 1:1 000 1:2 000地形圖航空攝影測量內業規范》的精度要求。在測區內或測區外不遠處選擇一個視野開闊、無強電磁干擾的地方作為無人機起降點,在風速小于3 m/s時進行拍照作業,為了獲得較高的圖像分辨率,在保障安全的情況下盡量降低飛行高度。采用大疆遙控器自帶的“攝影測量3D(井字飛行)”模塊進行航跡規劃,設置完成飛行區域、飛行高度、飛行速度、重疊度(橫向重疊80%)、拍攝傾角等信息后,即可完成自動起飛、自動拍攝、自動返航降落。
采用Context Capture軟件對影像進行后處理,首先對影像集進行空中三角測量計算,確定每幅圖像的位置和角元素,掌握每個輸入影像集的影像組屬性及每個輸入影像的姿態,完成不同圖像的剛性匹配、生成圖像連接點、評估圖像質量等,在此過程中如果輸入圖像的重疊不足或圖像紋理信息不足(如水面),部分圖像可能會被舍棄,影像集空中三角測量后即可進行三維模型重建,整個無人機傾斜攝影建模過程如圖2所示。
圖2 無人機傾斜攝影建模流程
非公路用旅游觀光車輛作為一種在旅游景區運行的交通工具,本身為非封閉式,行駛道路條件遠低于國家標準道路,存在較大安全風險,這就要求在規劃觀光車路線時坡度不能太陡。坡度通常用2點的高程差與其水平距離的百分比表示:i=h/l×100%,i為坡度,h為高程差,l為水平距離。TSG N0001—2017《場(廠)內專用機動車輛安全技術監察規程》中對觀光車的行駛路線進行了規定:觀光車最大行駛坡度不得大于10%(坡長小于20 m的短坡除外),觀光列車最大行駛坡度不得大于4%(坡長小于20 m的短坡除外)。對此一般是采用坡度儀和全站儀進行測量,需要投入大量人力、物力。
在一段人工坡道上選取A、B、C三點,見圖3,利用坡度儀進行坡度測量,結果見圖4,坡角換算成路線坡度分別為9.98%、11.58%和10.50%。由于坡面局部不平整的原因,3次坡度測量值結果離散性較大,在實際景區道路上這種不平整度的影響將更大。
圖3 A、B、C三個坡度儀測量點
圖4 坡度儀測量值
全站儀對邊測量是在不搬動儀器的情況下,直接測量多個目標點與某一起始點(P1)間的斜距(dSD)、平距(l)和高差(h),任一目標點與起始點間的高差也可用坡度來顯示,如圖5所示。以圖3坡道中的A為測量起始點,利用圖6所示的全站儀分別對邊測量B、C兩點坡度,A-B、A-C的測量坡度值分別為9.48%、9.36%。
圖5 全站儀對邊測量(P1-P2,P1-P3)原理
圖6 全站儀對邊測量B、C兩點坡度
●3.3.1 局部坡度測量
無人機飛行高度設定為25 m,影像平均對地分辨率為6.70 mm/pixel,鏡頭傾斜角為45°,一共獲得216張影像,經空中三角測量計算可用來三維重建的影像為197張,重建模型見圖7。
圖7 由無人機傾斜攝影得到的三維重建模型
在三維模型上坡道上部選取P1、P2兩個點,如圖8所示,其水平距離L12= 1.94 m,高程差為H12=0,然后在坡道底部選取一點P3,P2到P3的高程差H23= 0.51 m,連接P1、P2、P3三點的三角形面積為S123= 5.40 m2,由此可得P3到水平線P1P2的垂直距離LH= 5.57 m,計算坡度i= tan(arcsin(H23/LH)) = 9.19%。
圖8 傾斜攝影三維模型上坡度測量示例
需要指出的是,雖然本次三維模型測量中P3選點在黃色道標線的角點,但實際中P3選點比較任意,并不要求P3P2⊥P1P2,只需要保證P1和P2的選點在同一水平無高即可,如圖9所示,P1、P2兩個點水平距離P12= 1.91 m,P1到P3的高程差H13= 0.61 m,三角形P1P2P3的面積為S123= 6.27 m2,坡道坡度為9.33%。
圖9 P3任意選點時的坡度測量示例
表1為全站儀、坡度儀和無人機傾斜攝影測量的結果對比,可以看出無人機傾斜攝影測量結果與全站儀的測量結果比較接近,而坡度儀測量的誤差較大、數據比較分散。
表1 3種方法的坡度測量結果 %
●3.3.2 長距離坡度測量
根據“坡長小于20 m的短坡除外”的坡度豁免條件,在實際景區路線的全站儀坡度測量過程中,需要多次架設全站儀來尋找超標坡度變化點,非常煩瑣,但是采用無人機傾斜攝影測量可以極大地提高作業效率,流程如圖10所示。
圖10 “坡長小于20 m的短坡除外”檢測確認流程
在圖11所示的坡道三維模型上,沿著箭頭所示的路徑提取坡道上物理點的三維坐標并繪制成空間曲線圖,如圖12所示。在觀光車行駛路徑上,相鄰兩物理點Pm、Pn的坐標為(xm,ym,zm)和 (xn,yn,zn),其高程差等于Z方向坐標之差zn-zm,其路徑長度近似等于兩點的空間距離Lmn,路徑PmPn段的坡度為(znzm)/Lmn,依次求得各相鄰兩點間路徑的坡度,如圖13所示。
圖11 沿著觀光車前進路徑提取坡道上的物理點三維坐標數據
圖12 觀光車的行駛路徑的空間曲線
圖13 觀光車行駛路徑坡度點云圖
在計算觀光車行駛路徑時,如果2個相鄰測量點距離過長,則不能完全反映該路段的坡度細節變化,距離過短則容易陷入局部細節而忽略整體坡度趨勢。為了解決此問題,本文采用“插值擬合+中值濾波”方法對圖13中的坡度點云進行處理,首先采用“分段三次Hermite插值”法擴主坡度數據點,如圖14所示,然后采用“滑動中值濾波”法對坡度曲線進行平滑濾波,減少由于觀光車路線局部微區不平整和無人機抖動引起坡度異常,如圖15所示。
圖14 采用“分段三次Hermite 插值”法擴充坡度數據點
圖15 坡度擬合曲線的中值滑動濾波效果
●3.3.3 坡長小于20 m的短坡檢測
根據圖15可以清晰地判斷哪些路段的坡度超過規定閾值(觀光車10%,觀光列車4%),但在實際應用中并不指示出超標坡段是否屬于坡長小于20 m的短坡。本文采用“坡長閾值滑動平均法”自動計算坡長是否超標,具體方法如下:
1)在平滑濾波后的“坡度-坡長”曲線上按式(3)計算坡度Grad的滑動平均值GradM,滑動窗口寬度W對應坡長閾值Lth,繪制Ln-GradM曲線。
2)如果GradM均小于坡度閾值Gradth,則該觀光車輛路線滿足要求,如果在坡長Lm處的GradM超出閾值Gradth,則表示路段[Lm-Lth,Lm]處坡度可能超出要求,標記出后在三維模型上采用“三角形面積法”或利用全站儀進行現場測量確認。
圖11中的觀光車輛行駛路線約為35 m,假設超標坡度的最長坡長為2 m(實際為20 m),對坡度曲線進行滑動平均處理,滑動平均窗口寬度為20(2 m/0.1 m),對應2 m的坡長,結果如圖16所示,可看出8~10 m和28~30 m兩位置存在坡長超過2 m且坡度超過10%的坡段。
圖16 采用“坡長閾值滑動平均法”進行超標短坡檢測
對圖16中的第1處超標坡段進行確認,在8~10 m坡段的三維模型上進行局部三維測量,如圖17所示,可得坡度為10.42%。
圖17 在三維模型上對超標短坡進行確認
隨著無人機控制技術、遙感技術的快速發展,無人機已成為人們認識世界的有力工具,解決了多個相關行業發展過程中遇到的傳統難題,取得了顯著技術和經濟效果。為了推動無人機從“看、察、巡”向精確測量領域發展,拓寬無人機遙感技術在特種設備檢驗檢測領域的應用范圍,本文介紹了無人機傾斜攝影原理和基本流程,對比研究了無人機傾斜攝影測量方法和傳統方法在旅游觀光車輛路線坡度測量上的應用,結果表明無人機傾斜攝影具有較高的測量精度和重復性,能顯著提高工作效率,豐富了檢驗檢測技術手段,在特種設備測繪、精確測量方面具有廣闊的應用前景。