基于Order-Aware網絡內點篩選網絡的電力巡線航拍圖像拼接

回立川，李萬禹，陳藝琳

（遼寧工程技術大學 電氣與控制工程學院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

基于Order-Aware網絡內點篩選網絡的電力巡線航拍圖像拼接

回立川，李萬禹*，陳藝琳

（遼寧工程技術大學 電氣與控制工程學院，遼寧 葫蘆島 125105）（?通信作者電子郵箱670252229@qq.com）

電力巡線圖像紋理復雜且具有視差變化，針對傳統算法獲取成對匹配點數量較少、配準精度較低，嚴重影響電力巡線無人機圖像拼接效果等問題，提出了一種基于改進OANet的圖像拼接算法。首先，借助加速“風”（AKAZE）算法對待拼接電力巡線圖像進行粗匹配；其次，對OANet中Order-Aware模塊添加擠壓和激勵網絡（SENet），從而增強網絡對局部和全局上下文信息的抓取能力，得到更精確的成對匹配點；然后，通過MPA算法配準待拼接圖像；最后，借助內容壓縮感知算法計算重疊區域的最佳縫合線以完成圖像拼接。改進OANet相較原OANet的正確匹配點數量增加了10%左右，耗時平均增加了10 ms；與APAP算法、AANAP算法、MPA算法等配準拼接算法相比，所提算法的拼接質量最好，其待拼接圖像的重疊區域的均方根誤差為0，非重疊區域未發生畸變。實驗結果表明，所提算法可快速、穩定地拼接電力巡線航拍圖像。

電力巡線；圖像拼接；OANet；擠壓和激勵網絡；MPA算法；內容壓縮感知算法

0 引言

為了保障輸電線路的正常運行，需要定期對輸電線路巡檢。輸電線路走廊范圍較大且距離長，線路的地形往往十分復雜，可能跨越江河或者山嶺等，這些區域借助交通工具行駛是十分不便的。隨著無人機技術的發展，借助無人機完成電力巡線已成為一個熱門研究方向［1-3］。限于無人機機載相機的畫幅，需要多次拍攝拼接合成才能得到完整的輸電線路走廊局部圖像。

電力巡線無人機輸電線路走廊地圖制作主要分為兩個環節：特征匹配和圖像配準融合。特征匹配主要通過局部特征點匹配算法完成，成對特征點的質量和數量直接影響到形變矩陣配準的精度；圖像配準融合通過成對特征點的空間位置關系得到待拼接圖像的位置信息，形變拼接圖像完成配準，并融合重疊區域圖像。

成對特征點的質量和數量直接影響電力線走廊地圖質量的好壞，為了得到較好質量的成對匹配點完成圖像拼接，有研究者提出了一種基于改進尺度不變特征變換（Scale Invariant Feature Transform， SIFT）算法［4-5］的柱面全景拼接算法，先使用改進SIFT算法完成圖像粗匹配，然后借助隨機采樣一致性（RANdom SAmple Consensus， RANSAC）算法篩選特征點，最后根據點與點的關系計算空間變換矩陣完成圖像拼接。SIFT算法借助高斯函數構建尺度空間，會導致尺度圖像的角與邊緣信息丟失，造成匹配算法的魯棒性下降。為了進一步提高匹配點的質量，有研究者提出了一種基于“風”算法（KAZE，“風”的日文發音）［6-7］的無人機圖像拼接方法，KAZE算法使用非線性濾波構建尺度空間，有助于提高成對特征點的質量。SIFT和KAZE算法的描述符均為浮點型，需要使用歐氏距離衡量不同描述符的相似性，耗時較長，圖像拼接算法效率較低。有研究者提出了基于加速“風”（Accelerated KAZE， AKAZE）算法［8-9］的圖像拼接算法，AKAZE算法匹配點耗時較少、魯棒性較好，使得圖像配準精度進一步提高。上述幾種方法均通過RANSAC算法篩選特征點，該算法主要通過迭代計算得到最佳的參數模型，但易把正確匹配點誤判為外點，致使成對特征點數量減少。有研究者提出了基于漸進一致采樣算法［10-11］的無人機航拍圖像拼接算法，漸進一致采樣算法篩選內點時根據匹配結果由高到低的得分進行排序，有助于更好更快地得到參數模型。有研究者提出了基于網格運動統計（Grid-based Motion Statistics， GMS）算法［12-13］的最佳縫合線的密集重復結構圖像快速拼接方法，該算法首先使用ORB（Oriented FAST（Features from Accelerated Segment Test） and Rotated BRIEF（Binary Robust Independent Elementary Features））算法［14］匹配特征點，然后借助運動網格算法篩選特征點，最后采用動態規劃計算最佳縫合線完成圖像拼接。有研究者提出了基于向量場一致性（Vector Field Consistency， VFC）算法［15-16］的圖像拼接方法，先對傳統SIFT算法改進，然后借助向量場一致性篩選內點，最后計算單應性矩陣完成圖像拼接。

綜上所述，成對匹配點質量和數量直接影響待拼接圖像配準精度，而常用特征點篩選算法魯棒性較差，保留內點數較少，為了得到更好的電力線走廊地圖，本文提出了一種基于改進OANet（Order-Aware Network）［17］的航拍圖像拼接算法。首先，借助AKAZE算法完成圖像粗匹配；然后，對OANet添加擠壓和激勵網絡（Squeeze-and-Excitation Network， SENet）［18］篩選正確匹配點；最后，借助MPA（Mesh-based Photometric Alignment）算法［19］配準待拼接圖像，并使用內容壓縮感知算法［20］對兩張待拼接圖像重疊區域分別保留重要度較高和較低區域，以此為最佳縫合線完成圖像拼接。

1 相關工作

1.1 OANet內點篩選網絡

OANet會對每一對匹配點的匹配精度添加權重值，利用這個權重值計算兩張待匹配圖像形變關系。有若干成對具有重疊區域的訓練圖像，其中成對匹配點的關系為：

或者可用幾何損失函數表示為：

OANet主要包含四大模塊，分別為：PointCN（Point Context Normalization）網絡模塊、可微池化（Differentiable Pooling， DiffPool）網絡模塊、Order-Aware濾波器模塊、Order-Aware Differentiable Unpooling網絡模塊，如圖1所示。

圖1 OANet結構Fig. 1 OANet structure

1）PointCN網絡模塊。PointCN網絡是在點云網絡（PointNet）的基礎上改進得到的，PointNet經證明可擬合任意輸入數據集合，為了更好得到圖像點在上下文的信息，PointCN提出了上下文歸一化層（Context Normalization）用于提取圖像的全局特征，引入共同感知機（Shared Perceptron）可更快速有效地提取，如圖2所示。

2）DiffPool網絡模塊。PointCN盡管可以捕捉圖像的全局信息，但是局部點信息容易丟失，因為缺少點與點之間的相互作用，因此在網絡中添加DiffPool網絡。DiffPool網絡可以將無序的節點信息聚類采樣，構建成M個類。DiffPool網絡具有排列不變性，表明不同序列的數據輸入都可聚類成一種可學習的規范順序。

3）Order-Aware濾波器模塊，如圖3所示。經過DiffPool網絡后，匹配點被聚類且是空間有序的，直接使用PointCN網絡處理，并不能很好地利用空間順序信息，因為它忽略了點與點的空間位置關系，同時也不能很好地對全局上下文信息提取。

圖2 PointCN網絡Fig. 2 PointCN network

圖3 Order-Aware濾波器模塊Fig. 3 Order-Aware filter module

為了更好地提取點空間和全局上下文信息，OANet借助空間相關性層（Spatial Correlation）捕捉全局上下文信息。在多層感知機前后，添加轉換層，將通道維度轉換為空間維度，使得共享感知機在空間維度遍歷點與點的聯系，從而更加高效地捕捉全局上下文信息。在PointCN層是對通道維度處理，空間相關性層是對空間維度處理，加入注意力層（Transpose）可快速提取所需信息，故這兩個層是正交互補的。

4）Order-Aware Differentiable Unpooling網絡模塊。DiffPool網絡被用來預測整個圖網絡的標簽值，但不適用于稀疏匹配問題。因為需要對所有的成對匹配點添加權重，所以需要在DiffPool網絡后添加上采樣網絡。在經過Order-Aware濾波器模塊后，點與點之間丟失了空間順序，所以單純地對DiffPool網絡反操作不能恢復訓練數據的空間順序，故使用Order-Aware Differentiable Unpooling網絡模塊輸出的權重參數一一對應。

1.2 MPA算法

圖4 網格形變對光流的校準Fig. 4 Calibration of optical flow by mesh deformation

2 本文算法

基于局部特征點的圖像拼接算法主要分為三個部分：特征粗匹配、內點篩選和圖像配準融合。本文先借助AKAZE算法完成特征粗匹配；其次對OANet的Order-Aware濾波器模塊添加SENet，篩選較好的成對匹配點；然后借助MPA算法完成圖像配準，并通過內容壓縮感知算法計算最佳縫合線，完成圖像拼接，具體流程如圖5所示。

AKAZE算法主要分為三個部分：非線性尺度空間、特征點提取和MLDB（Modified-Local Difference Binary）描述符構建，具體參見文獻［8］。

2.1 改進OANet內點篩選網絡

圖1中OANet共有6層Order-Aware濾波器模塊，Order-Aware網絡結構由兩個點卷積網絡和一個空間相關性網絡組成，點卷積網絡主要對通道維度處理數據，空間相關性網絡主要對空間維度處理數據。訓練數據較多，勢必有很多冗余信息，為了更好地學習樣本特征點的上下文信息，本文提出在Order-Aware網絡中引入SENet，具體如圖6所示。

圖5 本文算法流程Fig. 5 Flow chart of proposed algorithm

圖6 具有SENet的Order-Aware網絡Fig. 6 Order-Aware network with SENet

SENet主要分為擠壓（Squeeze）和激勵（Excitation）操作兩大階段。擠壓主要是將一個通道上所有空間特征編碼為全局特征，可通過全局平均池化層得到，表示為：

把原OANet中的Order-Aware結構替換成本文所提的具有SENet的Order-Aware結構，可有效增加網絡的擬合能力，得到更多穩定的正確匹配點。

2.2 航拍圖像計算最佳縫合線拼接

成對特征點送入改進OANet網絡后，可得到成對正確匹配點，根據成對匹配點分布可計算得到兩張航拍圖像的單應性矩陣，把單應性矩陣代入MPA算法中，通過最大期望值算法得到最優光流網格形變參數，完成相鄰航拍圖像配準。對重疊區域較為復雜的航拍圖像，若對重疊區域融合，勢必會有重影；為了使重疊區域更加美觀，提出借助內容壓縮感知算法計算最佳縫合線完成圖像拼接。

3 實驗與結果分析

本文實驗主要分為兩個部分，驗證AKAZE+改進OANet算法對電力巡線航拍圖像的穩定性和所提算法對電力線圖像的拼接效果。為了得到更好的改進OANet模型，本文借助University1652-Baseline航拍數據集［21］訓練OANet和改進OANet。

3.1 實驗過程

圖7為電力訓練無人機在不同高度拍攝的輸電線路走廊圖片，圖像尺寸均為。實驗分為兩部分：第一部分，借助RANSAC算法、VFC算法、GMS算法、OANet算法與本文所提改進OANet算法對圖7進行匹配實驗，驗證內點篩選數量和算法耗時；第二部分，借助APAP（As-Projective-As-Possible）算法［22］、AANAP（Adaptive As-Natural-As-Possible）算法［23］、MPA算法與本文算法進行對比實驗，判斷圖像拼接質量。

3.2 結果分析

本文實驗主要分為特征匹配部分和圖像拼接部分兩部分，從而驗證特征匹配過程的穩定性和圖像拼接質量。

1）特征匹配部分：先借助AKAZE算法對待拼接輸電線路航拍圖像完成粗匹配，然后分別通過VFC、RANSAC、GMS、OANet等算法篩選內點，依次與本文所提改進OANet算法對比。

2）圖像拼接部分：APAP、MPA、AANAP等算法使用SIFT算法完成圖像粗匹配，并通過RANSAC算法篩選匹配點，本文算法按照圖5的流程完成。

圖7 實驗圖像示例Fig. 7 Experimental image examples

3.2.1 內點篩選效果評價

使用AKAZE算法與VFC、GMS、RANSAC、OANet、改進OANet算法等內點篩選算法對圖7的實驗圖像中匹配點進行統計，如表1所示。由表1可知，所提改進OANet對電力巡線航拍圖像內點篩選效果最好，每一組圖像均保留了大量成對匹配點，相較原OANet算法匹配點數量增加了10%左右，由此表明所提算法的適應性強、魯棒性好；VFC內點篩選算法的穩定性最差，對圖7（b）、（c）組中圖像保留內點數為0；RANSAC算法對7（a）圖像僅有9個成對匹配點，表明該算法適應性欠佳；GMS算法對圖7（a）圖像得到內點數為0，其他組得到匹配點數也較少，表明其穩定性不及改進OANet算法。

表1 不同算法的匹配點數量對比Tab. 1 Comparison of number of matching points of different algorithms

航拍無人機高空拍攝易受到空氣對流影響，導致相鄰航拍圖像的角度和仿射性發生變化，為了驗證改進OANet算法是否具有較好抗角度不變性和抗仿射不變性，改變圖7（a）中目標匹配圖像的角度和仿射。

對圖7（a）中目標圖像添加15°和30°的角度旋轉，然后進行圖像匹配實驗，以檢測特征點篩選算法的旋轉不變性，數據結果如表2所示。VFC算法得到的匹配點數最多，但正確點數較少，平均匹配正確率僅為28.39%；RANSAC和GMS算法得到的匹配點較少，在15°變換時，GMS算法得到的匹配點數為0；本文所提改進OANet算法得到的匹配點數多于OANet算法，正確匹配點數也較多，匹配正確率提高了2.86個百分點。表2結果表明，所提改進OANet算法具有較好的旋轉不變性。

對圖7（a）中的目標圖像添加不同程度的仿射變化，以檢測算法的抗仿射不變性，匹配實驗數據結果如表3所示。第一組實驗中，VFC算法得到的匹配點數最多，但匹配正確率僅為37.37%，第二組匹配點數為0，表明VFC算法的魯棒性較差。RANSAC和GMS算法得到的匹配點數較少，算法適應性較差。本文所提改進OANet算法得到的匹配點數比原OANet算法多，匹配正確率提高了0.6個百分點，表明所提算法具有較強的抗仿射不變性。

表2 不同算法的角度變化匹配數據對比Tab. 2 Angle change matching data comparison of different algorithms

表3 不同算法的仿射變化匹配數據對比Tab. 3 Affine change matching data comparison of different algorithms

圖8為AKAZE+改進OANet算法特征匹配效果，線條連接同一對匹配點。

為了更好地衡量不同算法的效率，AKAZE、VFC、RANSAC、GMS、OANet和改進OANet算法均在CPU上運行，不同算法的耗時如表4所示。

表4 不同算法的匹配耗時對比 單位： msTab. 4 Matching time consumption comparison of different algorithms unit： ms

由表4可知，GMS內點篩選算法耗時最少，其次是RANSAC算法、VFC算法以及RANSAC算法，本文所提改進OANet算法的內點篩選速度最慢。

GMS、RANSAC、VFC算法的內點篩選效率均較快，但魯棒性較差，VFC算法對圖7（b）、（c）的內點保有量為0，GMS算法對圖7的內點保有量也較少。本文提出的改進OANet算法，雖效率較低，但魯棒性較好，能得到大量優質的成對特征點。

3.2.2 拼接效果評價

APAP算法、AANAP算法、MPA算法和本文算法對圖7（b）的拼接效果如圖9所示，對電力塔、建筑物和公路區域進行了局部放大。

圖8 AKAZE+改進OANet算法匹配效果（線條連接同一對匹配點）Fig. 8 AKAZE+improved OANet algorithm matching effect （lines connecting same pairs of matching points）

圖9 不同算法對圖7（b）的拼接局部放大圖比較Fig. 9 Partial enlarged stitched images comparison of different algorithms on fig. 7（b）

圖9（a）為APAP算法拼接效果，APAP算法借助網格形變配準對重疊區域拼接效果較好，無明顯重影，但未對非重疊區域限制，造成了電力塔絕緣子出現扭曲。AANAP算法先借助APAP算法局部調整重疊區域，然后再借助全局最優相似變換矩陣限定非重疊區域，并在邊緣處設定錨點，防止出現畸變。圖9（b）中，建筑物區域未出現重影，電力塔也未出現失真，但圖像邊緣區域出現嚴重畸變，MPA算法把圖像配準轉化為最小化光流配準能量函數，借助最大期望值算法得到最優配準參數。圖9（c）中，非重疊區電力塔未出現失真，重疊區域內建筑物和電力塔絕緣子的邊緣區域紋理較為復雜，故有輕微重影。本文算法在MPA算法基礎上，提出了對重疊區域通過內容壓縮感知計算最佳縫合線，對兩張待拼接圖像重疊區域分別保留重要度較低和較高區域，拼接得到完整圖像。圖9（d）中，非重疊區域未出現畸變，重疊區域內建筑物和公路拼接效果很好，未出現重影，拼接效果很符合原始場景。

圖10為本文算法對圖7（a）、（c）和（d）的拼接效果圖，重疊區域未出現重影，非重疊區域沒有失真，拼接圖像很好地復原了原始場景。

本文通過兩張待拼接圖像重疊區域的均方根誤差（Root Mean Square Error， RMSE）判斷不同的算法拼接質量，均方根誤差的計算式為：

圖10 本文算法對圖7（a）、（c）和（d）的拼接效果Fig. 10 Stitching effects of proposed algorithm on fig. 7（a）、（c） and （d）

表5為APAP、AANAP、MPA和本文算法對圖7電力線航拍圖像得到的均方根誤差。由表5可知，AANAP算法的均方根值誤差最大，APAP算法次之。由于APAP算法和AANAP算法配準依靠成對特征點的數量和質量，若是成對特征點數量較少或者存在錯誤匹配點，會嚴重影響配準精度；MPA算法先利用成對特征點計算單應性矩陣，然后把圖像配準轉化為光流最優化問題，對成對特征點要求較低，因此，成對特征點中存在少量錯誤匹配點，不會對MPA算法配準造成影響。由于本文借助內容壓縮感知算法計算重疊區域最佳縫合線，對兩張待拼接圖像分別保留重要度較高和較低區域拼接，故配準均方根誤差均為0。

表5 不同算法的配準均方根誤差對比Tab. 5 Root mean square error comparison of registration of different algorithms

表6為不同算法的配準耗時（未統計匹配算法和特征點篩選算法耗時）。由表6可知，APAP算法配準最快，AANAP算法最慢；本文所提算法在使用MPA配準后，需借助內容壓縮感知算法計算最佳縫合線，故拼接時間多于MPA算法。

綜上所述，本文算法對電力線圖像的拼接效果最好，可最大限度地還原真實電力線走廊場景，待拼接圖像的重疊區域均方根誤差最小，配準精度最高，拼接效果較好。所提算法可快速有效地構建輸電線路走廊地圖，廣泛應用于無人機電力巡線。

表6 不同算法的配準耗時對比 單位：sTab. 6 Registration time consumption comparison of different algorithms unit：s

4 結語

本文提出了一種基于改進OANet的電力巡線無人機航拍圖像拼接算法。首先，使用AKAZE算法完成圖像粗匹配；然后，對OANet添加SENet，更好地擬合了網絡模型，得到了更多穩定成對匹配點；最后，借助MPA算法配準電力巡線圖像，并對重疊區域計算最佳縫合線完成圖像拼接。實驗結果表明，本文算法可保留大量匹配內點，拼接效果較好還原了現實場景。在接下來的研究中，將著重提高特征粗匹配魯棒性，使用深度學習方法完成圖像匹配。

[1] 郭一江，王衛紅，鄭潔，等.基于無人機巡線數據的電力走廊可視化研究［J］.西南科技大學學報，2020，35（3）：92-96.（GUO Y J， WANG W H，ZHENG J， et al. Research on power corridor visualization based on UAV line inspection data ［J］. Journal of Southwest University of Science and Technology， 2020， 35（3）： 92-96.）

[2] 鄭貴林，張麗.自旋翼飛機電力巡線技術研究與應用［J］.中國電力，2014，47（7）：26-31.（ZHENG G L， ZHANG L. Research and application of auto-gyro power line inspection technology ［J］. Electric Power， 2014， 47（7）： 26-31.）

[3] 羅昊，蘇盛，楊浩，等.基于FPGA的電力巡線無人機硬件加密通信方法［J］.中國電力，2019，52（7）：11-16.（LUO H， SU S， YANG H， et al. FPGA-based hardware encryption of power line patrol drones ［J］. Electric Power，2019， 52（7）： 11-16.）

[4] 朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺一致性的柱面全景拼接算法［J］.中國圖象圖形學報，2016，21（11）：1523-1529.（ZHU Q H， SHANG Y Y，SHAO Z H， et al. Cylindrical panorama stitching algorithm based on local features and vision consistence ［J］. Journal of Image and Graphics， 2016， 21（11）： 1523-1529.）

[5] LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[6] 韓敏，閆闊，秦國帥.基于改進KAZE的無人機航拍圖像拼接算法［J］.自動化學報，2019，45（2）：305-314.（HAN M， YAN K， QIN G S. A mosaic algorithm for UAV aerial image with improved KAZE ［J］. Acta Automatica Sinica， 2019， 45（2）： 305-314.）

[7] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features ［C］// Proceedings of the 2012 European Conference Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.

[8] 閆璠，張瑩，高贏，等.基于AKAZE算法的圖像拼接研究［J］.電子測量與儀器學報，2017，31（1）：36-44.（YAN F， ZHANG Y， GAO Y， et al. Research of image stitching based on AKAZE algorithm ［J］. Journal of Electronic Measurement and Instrumentation， 2017， 31（1）： 36-44.）

[9] ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces ［C］// Proceedings of the 2013 British Machine Vision Conference. Durham： BMVA Press， 2013：Article No.13.

[10] 李振宇，田源，陳方杰，等.基于改進ORB和PROSAC的無人機航拍圖像拼接算法［J］.激光與光電子學進展，2019，56（23）：83-91.（LI Z Y， TIAN Y， CHEN F J，et al. Aerial image stitching algorithm for unmanned aerial vehicles based on improved ORB and PROSAC ［J］. Laser and Optoelectronics Progress， 2019， 56（23）： 83-91.））

[11] CHUM O， MATAS J. Matching with PROSAC — progressive sample consensus ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 220-226.

[12] 牟琦，唐洋，李占利，等.基于網格運動統計算法和最佳縫合線的密集重復結構圖像快速拼接方法［J］.計算機應用，2020，40（1）：239-244.（MU Q， TANG Y， LI Z L， et al. Fast stitching method for dense repetitive structure images based on grid-based motion statistics algorithm and optimal seam ［J］. Journal of Computer Applications， 2020， 40（1）： 239-244.）

[13] BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： grid-based motion statistics for fast，ultra-robust feature correspondence ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2828-2837.

[14] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2567-2571.

[15] 張進，趙相偉，欒吉山，等.改進FAST和對立顏色特征的向量場一致性匹配［J］.測繪通報，2020（11）：50-54.（ZHANG J， ZHAO X W， LUAN J S， et al. The vector field consistent matching of FAST and opposite color features is improved ［J］. Bulletin of Surveying and Mapping， 2020（11）： 50-54.）

[16] MA J Y， ZHAO J， TIAN J W， et al. Robust point matching via vector field consensus ［J］. IEEE Transactions on Image Processing， 2014， 23（4）： 1706-1721.

[17] ZHANG J H， SUN D W， LUO Z X， et al. Learning two-view correspondences and geometry using Order-Aware Network ［EB/OL］. ［2020-02-10］. https：//arxiv.org/pdf/1908.04964.pdf.

[18] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[19] LIN K M， JIANG N J， LIU S C， et al. Direct photometric alignment by mesh deformation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2701-2709.

[20] 胡浩慧，倪蓉蓉，趙耀.圖像內容感知縮放的檢測方法研究［J］.軟件學報，2018，29（4）：1002-1016.（HU H H， NI R R， ZHAO Y. Research on detection method of content-aware image resizing ［J］. Journal of Software， 2018， 29（4）： 1002-1016.）

[21] ZHENG Z D， WEI Y C， YANG Y. University-1652： a multi-view multi-source benchmark for drone-based geo-localization ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 1395-1403.

[22] ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT ［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013： 2339-2346.

[23] LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163.

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

HUI Lichuan， LI Wanyu*， CHEN Yilin

（Faculty of Electrical and Control Engineering，Liaoning Technical University，Huludao Liaoning125105，China）

The texture of power line inspection images with parallax variation is complex， the number of paired matching points obtained by traditional algorithms is less and the registration accuracy is low， which seriously affect the stitching effect of power line inspection unmanned aerial vehicle image. In order to solve the problems， a new image stitching method based on improved Order-Aware Network （OANet） was proposed. Firstly， the Accelerated KAZE （AKAZE） algorithm was adopted to match the power line inspection images to be stitched roughly. Secondly， the Squeeze-and-Excitation Networks （SENet） was added to the Order-Aware module in OANet， which helped to enhance the grasping ability of the network for both the local and global context information， and more accurate paired matching points were obtained. Then，the Mesh-based Photometric Alignment （MPA） algorithm was used to register the images to be stitched. Finally， the optimal suture line in the overlapping area was calculated by the content compressed sensing algorithm to complete image stitching. The number of correct matching points of the improved OANet network is about 10% higher than that of the original OANet network with time consumption increased by 10 ms on average. Compared with the registration stitching algorithms such as As-Projective-As-Possible （APAP） algorithm， Adaptive As-Natural-As-Possible （AANAP） algorithm and MPA algorithm， the proposed algorithm has the highest stitching quality with the root mean square error of the overlapping area of the images to be stitched is 0 and no distortion in the non-overlapping area. Experimental results show that， the proposed algorithm can stitch the aerial images of power line inspection quickly and stably.

power line; inspection image stitching; Order-Aware Network (OANet); Squeeze-and-Excitation Network (SENet); Mesh-based Photometric Alignment (MPA) algorithm; content compressed sensing algorithm

TP391

A

1001-9081（2022）05-1583-08

10.11772/j.issn.1001-9081.2021030493

2021?04?01；

2021?05?18；

2021?05?18。

遼寧省教育廳科學研究項目（LJ2017QL009）。

回立川（1980—），男，河北邢臺人，副教授，博士，主要研究方向：電力系統運行監測； 李萬禹（1993—），男，遼寧大連人，碩士研究生，主要研究方向：電力系統運行監測； 陳藝琳（1994—），女，河北阜城人，碩士研究生，主要研究方向：電力系統運行監測。

This work is partially supported by Scientific Research Project of Educational Department of Liaoning Province （LJ2017QL009）.

HUI Lichuan， born in 1980， Ph. D.， associate professor. His research interests include power system operation monitoring.

LI Wanyu， born in 1993， M. S. candidate. His research interests include power system operation monitoring.

CHEN Yilin， born in 1994， M. S. candidate. Her research interests include power system operation monitoring.