基于Onboard SDK的無(wú)人機(jī)自主飛行控制及精準(zhǔn)拍照技術(shù)研究

邊慧琴，杜立江，武曉楠，王喜中

（國(guó)家電網(wǎng)濮陽(yáng)供電公司，河南 濮陽(yáng) 457000）

現(xiàn)階段對(duì)于無(wú)人機(jī)研究多是集中在無(wú)人機(jī)智能化方面，從而實(shí)現(xiàn)無(wú)人機(jī)飛行智能控制、自主決策以及自主降落等。將無(wú)人機(jī)應(yīng)用到饒塔巡檢時(shí)，由于工作環(huán)境內(nèi)存在有高壓供電線(xiàn)路、異性電力桿塔等，對(duì)無(wú)人機(jī)控制精度要求更高。同時(shí)無(wú)人機(jī)巡檢時(shí)需要對(duì)塔桿各位置（包括桿塔標(biāo)識(shí)牌、基面及塔腿、絕緣子串掛點(diǎn)等）進(jìn)行拍照，后進(jìn)行智能分析，對(duì)獲取到相片質(zhì)量有較高的要求。文中基于Onboard SDK對(duì)無(wú)人機(jī)自主飛行控制及精準(zhǔn)拍照技術(shù)研究，以期能在一定程度上提升無(wú)人機(jī)巡檢效果。

1 DJI Onboard SDK概述

DJI Onboard SDK是一個(gè)開(kāi)源軟件庫(kù)，使計(jì)算機(jī)通過(guò)串行接口與DJI飛機(jī)、飛行控制器通信。DJI Onboard SDK包含一個(gè)核心庫(kù)（OSDK-Core），可通過(guò)該庫(kù)獲取飛機(jī)數(shù)據(jù)和控制信息。該庫(kù)的體系結(jié)構(gòu)被設(shè)計(jì)為可擴(kuò)展的。所有命令均與產(chǎn)品無(wú)關(guān)，并且在運(yùn)行時(shí)提供產(chǎn)品功能信息。這意味著，當(dāng)為一種產(chǎn)品（如M210）編寫(xiě)應(yīng)用程序時(shí)，它也可能會(huì)與另一種具有類(lèi)似功能的產(chǎn)品（如A3）一起使用。

2 OSDK線(xiàn)程模型

在支持線(xiàn)程的系統(tǒng)（除STM32之外的所有平臺(tái)）上，OSDK運(yùn)行四個(gè)線(xiàn)程：主線(xiàn)程，程序執(zhí)行的主要流程在這里發(fā)生。通常，所有發(fā)送到飛機(jī)/FC的命令都在此線(xiàn)程上執(zhí)行。串行讀取線(xiàn)程，來(lái)自飛機(jī)/FC的遙測(cè)數(shù)據(jù)在串行讀取線(xiàn)程上處理，并在此處填充確認(rèn)/返回類(lèi)型。阻塞調(diào)用將阻塞主線(xiàn)程，直到讀取線(xiàn)程完成處理其確認(rèn)為止。一些回調(diào)在此線(xiàn)程上處理-來(lái)自飛機(jī)的為異步“推送數(shù)據(jù)”注冊(cè)的回調(diào)（可通過(guò)DJI Asistant2的SDK頁(yè)面啟用）。USB讀取線(xiàn)程，如果啟用了M210的高級(jí)感應(yīng)功能，則會(huì)創(chuàng)建一個(gè)單獨(dú)的線(xiàn)程。此功能適用于訂閱機(jī)制。訂閱圖像后，推送數(shù)據(jù)將繼續(xù)通過(guò)USB傳輸。該線(xiàn)程僅提供讀取功能。如果開(kāi)發(fā)人員希望對(duì)圖像數(shù)據(jù)進(jìn)行大量計(jì)算，建議創(chuàng)建一個(gè)單獨(dú)的線(xiàn)程。回調(diào)線(xiàn)程，處理發(fā)送到飛機(jī)/FC的命令的確認(rèn)的所有回調(diào)均在回調(diào)線(xiàn)程上執(zhí)行。

3 無(wú)人機(jī)定位和視覺(jué)跟蹤技術(shù)

3.1 無(wú)人機(jī)定位技術(shù)

基于網(wǎng)絡(luò)RTK高精度定位的無(wú)人機(jī)實(shí)時(shí)高精度定位技術(shù)主要包括在網(wǎng)絡(luò)RTK的無(wú)人機(jī)高精度定位基礎(chǔ)上，融合視覺(jué)導(dǎo)航跟蹤技術(shù)，實(shí)現(xiàn)絕緣子串、防振錘、間隔棒、均壓環(huán)、桿塔關(guān)鍵部位的捕捉和精準(zhǔn)拍攝，視覺(jué)追蹤是需要解決主要問(wèn)題之一。對(duì)于特定目標(biāo)的追蹤的基礎(chǔ)是將追蹤目標(biāo)識(shí)別出來(lái)，因此需要實(shí)現(xiàn)對(duì)巡檢影像的特定目標(biāo)識(shí)別。基于巡檢影像的實(shí)時(shí)識(shí)別與基于視覺(jué)導(dǎo)航的目標(biāo)跟蹤，實(shí)現(xiàn)對(duì)云臺(tái)和飛機(jī)的控制，使其達(dá)到完全自動(dòng)化特定目標(biāo)拍照，是本項(xiàng)目主要解決的問(wèn)題之三。挑選合適的前端識(shí)別模塊，實(shí)現(xiàn)云臺(tái)相機(jī)與前端智能識(shí)別模塊的聯(lián)動(dòng)，達(dá)到數(shù)據(jù)實(shí)時(shí)分析，云臺(tái)及時(shí)調(diào)整。

3.2 視覺(jué)跟蹤技術(shù)

一般情況下，用于線(xiàn)路設(shè)備信息采集的相機(jī)分辨率高、焦距大、視場(chǎng)角較窄，相機(jī)較攝像機(jī)的視場(chǎng)范圍較小，在基于機(jī)載視頻跟蹤系統(tǒng)完成粗定位后，目標(biāo)不一定落在相機(jī)的視場(chǎng)范圍內(nèi)，因此，首先基于設(shè)備識(shí)別技術(shù)判斷設(shè)備是否出現(xiàn)在相機(jī)圖像空間中，如果在，則需要根據(jù)相機(jī)圖像空間與吊艙控制系統(tǒng)間建立雅克比關(guān)系，進(jìn)行伺服過(guò)程：基于圖像平面空間坐標(biāo)系與三維空間中點(diǎn)之間投影變換模型，定義圖像空間像素偏移量與三維世界坐標(biāo)系下的圖像雅克比矩陣為：

式中，z為目標(biāo)到相機(jī)坐標(biāo)系的距離；x、y為圖像空間像素坐標(biāo)位置信息。

通過(guò)上述關(guān)系根據(jù)圖像空間像素偏差調(diào)整吊艙控制量，重復(fù)上述操作，直至目標(biāo)設(shè)備在圖像中心區(qū)域；如果不在，則需要基于目標(biāo)設(shè)備在攝像機(jī)圖像空間中的位置及相機(jī)光心及視場(chǎng)范圍與攝像機(jī)光心及視場(chǎng)范圍的位置關(guān)系，確定相機(jī)視場(chǎng)中心與當(dāng)前目標(biāo)在攝像機(jī)視場(chǎng)空間的位置偏差，進(jìn)而根據(jù)無(wú)人機(jī)相對(duì)線(xiàn)路的距離信息，計(jì)算無(wú)人機(jī)吊艙的姿態(tài)調(diào)整控制量，直至相機(jī)圖像范圍內(nèi)檢測(cè)到目標(biāo)設(shè)備，且接近于圖像中心位置，從而保證目標(biāo)信息采集的完整性，有效性。

4 無(wú)人機(jī)自主飛行控制及精準(zhǔn)拍照

基于機(jī)載視頻的輸電線(xiàn)路目標(biāo)跟蹤技術(shù)主要研究基于特征的實(shí)時(shí)目標(biāo)跟蹤技術(shù)。通過(guò)如顏色等的分布來(lái)對(duì)描述目標(biāo)，然后通過(guò)侯選目標(biāo)、目標(biāo)模板的相似性度量來(lái)尋找目標(biāo)，并迭代搜索目標(biāo)位置，實(shí)現(xiàn)目標(biāo)跟蹤、模式匹配。

基于機(jī)載視頻的典型設(shè)備識(shí)別定位技術(shù)主要研究基于特征的絕緣子串、防振錘、間隔棒、均壓環(huán)、桿塔關(guān)鍵部位等識(shí)別定位技術(shù)。通過(guò)視頻中要拍攝設(shè)備的輪廓及對(duì)應(yīng)的特征實(shí)現(xiàn)對(duì)視頻中主要設(shè)備的識(shí)別定位，在對(duì)輸電線(xiàn)路部件的定位與識(shí)別中，可以通過(guò)在圖像上提取低級(jí)別的特征，再根據(jù)感知聚類(lèi)的思想將低級(jí)別的特征組合成中級(jí)別的結(jié)構(gòu)。然后，分別將大部件的特征抽象成語(yǔ)義，根據(jù)各個(gè)大部件的語(yǔ)義在已提取的中級(jí)特征中識(shí)別大部件。通過(guò)感知聚類(lèi)的方法將需要識(shí)別的對(duì)象與低級(jí)別特征進(jìn)行關(guān)聯(lián)，解決在架空輸電線(xiàn)路部件識(shí)別中低級(jí)別特征與部件之間如何關(guān)聯(lián)的問(wèn)題。

具體拍攝步驟為：Step1:設(shè)置巡檢拍攝視點(diǎn)，即確定無(wú)人機(jī)懸停位置；Step2:基于RTK，飛手通過(guò)手飛確定航點(diǎn)；Step3:基于航點(diǎn)規(guī)劃巡檢航線(xiàn)；Step4:執(zhí)行自動(dòng)飛行；Step5:無(wú)人機(jī)飛到航點(diǎn)進(jìn)行懸停，前端智能識(shí)別模塊進(jìn)行桿塔關(guān)鍵部位識(shí)別，確定部位的位置；Step6:規(guī)劃關(guān)鍵部位識(shí)別次序，依次對(duì)焦拍照；Step7:進(jìn)入下一拍攝點(diǎn)，直到拍照完成。

結(jié)合AI目標(biāo)識(shí)別定位技術(shù)實(shí)現(xiàn)精準(zhǔn)拍照，瞄準(zhǔn)拍攝目標(biāo)時(shí)間可進(jìn)一步縮短，平均每基塔5min內(nèi)完成全自主飛行，超過(guò)一般的飛手水平，單點(diǎn)對(duì)準(zhǔn)、變焦、對(duì)焦、拍照的時(shí)間可優(yōu)化到3～4s內(nèi)完成，目前是7～8s。自動(dòng)對(duì)準(zhǔn)對(duì)焦的精細(xì)化拍照效果見(jiàn)圖2。

圖1 抓拍設(shè)計(jì)流程圖

圖2 現(xiàn)場(chǎng)拍照效果圖

5 結(jié)語(yǔ)

（1）文中依據(jù)DJI Onboard SDK數(shù)據(jù)庫(kù)以及OSDK線(xiàn)程模型對(duì)無(wú)人機(jī)定位和視覺(jué)跟蹤技術(shù)進(jìn)行探討，提出采用無(wú)人機(jī)定位技術(shù)、視覺(jué)跟蹤技術(shù)實(shí)現(xiàn)無(wú)人機(jī)的自主飛行控制，并為后續(xù)的精準(zhǔn)拍照奠定基礎(chǔ)。

（2）將AI技術(shù)應(yīng)用到精準(zhǔn)拍照中，并對(duì)無(wú)人性抓拍流程進(jìn)行闡述。現(xiàn)場(chǎng)應(yīng)用后，無(wú)人機(jī)瞄準(zhǔn)拍攝目標(biāo)時(shí)間可進(jìn)一步縮短，平均每基塔5min內(nèi)完成全自主飛行，超過(guò)一般的飛手水平，單點(diǎn)對(duì)準(zhǔn)、變焦、對(duì)焦、拍照的時(shí)間可優(yōu)化到3～4s內(nèi)完成。