基于FPGA的三維重建系統設計

吳銳 龔云鑫

摘要：在線結構光測量基礎上，設計了一種三維重建系統。該重建系統涉及的關鍵技術有4點：將FPGA采集的標定照片通過網口傳輸至上位機進行相機標定;對FPGA采集的重建圖像進行圖像分割;對分割的目標區域求取中心坐標;結合相機標定參數與中心坐標進行模型面積求取及三維重建。

關鍵詞：FPGA;線結構光;三維重建;單目視覺測量

1 概述

1.1 ? ?設計背景

隨著我國制造業迅速發展，工業界在加工控制和質量檢測方面都迫切需要高精度、速度快、方便、經濟的三維表面形貌測量及建模設備。研究復雜曲面的三維表面形貌精密測量技術一直是現代工業檢測的難題之一，也是工程界亟需解決的問題之一[1]。在計算機視覺和逆向工程技術迅猛發展的大背景下，提升計算機視覺和三維光學測量系統的效率和性能，對于高效快速地獲取點云數據有著重要的研究意義，其應用前景廣闊，具有重大的實用價值。

1.2 ? ?設計研究現狀

從20世紀80年代初到80年代中期，計算機視覺技術迎來了全球性的研究熱潮，計算機視覺技術得到了快速發展，基于視覺的三維重建技術是以Marr的視覺理論框架為基礎，形成了各種各樣的理論方法，新概念、新方法、新理論不斷涌現。目前，計算機立體視覺已經廣泛運用于文物保護、工業探傷、城鎮建模、醫療等各個方面[2]。

運用FPGA實現三維建模近年來發展迅猛。Altera公司的吳繼華[3]探討了將低成本FPGA用于視頻和圖像處理的可能性。Brian J.Jentz結合Altera公司FPGA特點對高分辨率、高清晰度、高壓縮率的圖像傳輸和處理進行了研究，介紹了FPGA在圖像處理領域的不同應用情況，分析了以FPGA作為獨立處理器的優點[4]。林品武[5]等人設計了基于FPGA的三維顯示系統，可對采集的三維信息進行實時顯示。曹健[6]等設計了一種基于FPGA和DLP的旋轉三維圖像生成系統，通過高速旋轉屏顯示視頻流，實現了視覺上的假三維。錢峰[7]等實現了基于FPGA的醫學圖像三維重建系統設計。段勇[8]等人提出使用多臺攝像機搭建動態場景實時三維重建系統。

1.3 ? ?本設計主要內容

本設計主要工作有搭建三維重建硬件平臺，測量攝像機內參數，求取激光平面方程，采集圖像，并將圖像轉化為灰度圖，再進行圖像預處理，完成線結構光與背景圖片的分割，提取出線結構光的中心坐標，最后結合相機標定的參數將三維坐標恢復，實現三維場景的重建。

2 系統方案設計

2.1 ? ?系統原理

基于FPGA的線結構光三維重建系統由結構光投射器、相機及FPGA電路系統板等組成，其理論依據是激光三角測量原理，如圖1所示。首先，結構光發射器將結構光光條紋垂直投射到被測物體表面上，在物體表面上形成有形變的光條紋圖像，此時在空間另一位置固定一臺攝像機，以采集帶有光條紋的被測物體的圖像。激光器和相機之間的夾角和被測物體表面復雜度是影響光條紋圖像畸變程度的主要因素。其次，通過相機標定求解出相機內外參數、光平面與攝像機坐標系的相互變換矩陣。最后，利用空間幾何關系最終求得圖像中光條紋的三維信息。

本設計采用線結構光法，如圖2所示，激光器投射出的光束在空間中形成一個窄的激光平面，當與被測物體相交時在物體表面產生一光條，該光條因為物體表面深度的變化以及可能的間隙而受到調制，表現在圖像中是光條發生畸變和不連續，畸變程度與深度成正比，不連續則顯示出物體表面的物理間隙。線結構光法測量就是從畸變的光條圖像信息中獲得物體表面的三維信息。

目前主流設計是將攝像頭采集到的圖像信息傳送至上位機，利用CPU或者GPU完成相關算法的處理，而本設計利用FPGA芯片現場可編程、并行高速運算的優點，直接完成相關算法，圖像數據幾乎可實時處理。

2.2 ? ?系統總結構設計

基于FPGA的線結構光三維重建系統結構如圖3所示。

基于FPGA的線結構光三維重建系統設計主體由圖像采集部分、FPGA算法運算部分及PC顯示屏顯示部分組成。

（1）圖像采集部分擬將激光筆發射的線激光呈一定角度照射到模型之上，同時利用攝像頭采集合適的圖像數據，送入FPGA處理器進行存儲和相關運算。

（2）FPGA算法運算部分主要分為兩大步驟：

步驟一：完成攝像頭標定工作，搭建好系統，通過FPGA算法實現圖像采集，以太網傳輸圖片至上位機，最后在上位機軟件完成攝像頭的內外參數及激光平面的參數確定，為圖像像素坐標轉三維坐標提供支持。

步驟二：完成三維建模工作，該步驟首先通過搭建好的系統完成模型圖像的采集和存儲，然后進行圖像灰度化及降噪處理;其次進行圖像分割，去除掉與線激光帶無關的背景部分;最后對線激光帶進行中心特征點的求取，利用步驟一中的攝像頭標定參數求取線激光中心特征點對應的三維坐標。已知三維坐標后，便可算出相應模型的截面面積，同時將處理過程及結果顯示于PC顯示屏上。系統FPGA算法設計框圖如圖4所示。

（3）PC顯示屏實時顯示出該系統的視頻信息及模型截面積計算結果。

3 結語

該設計將圖像處理相關算法通過具有并行運算能力的FPGA器件實現，大大減少算法處理的時間，可以達到實時檢測計算模型截面積的效果。同時，該系統采用的FPGA運算處理器件，相比于同等性能的CPU、GPU處理器更加廉價，可以實現系統的小型化，擴大應用場景。因此，該系統設計具備以下創新點：

（1）實時性高。基于FPGA器件，對采集到的視頻圖像數據進行并行高速運算處理，相比于軟件處理能達到實時處理的效果。

（2）通用性良好，修改升級方便。該系統設計設想為設計一款通用系統，除了可以用于三維建模，還可以用于焊縫檢測、工件表面裂紋檢測、輪胎合格檢測等領域。

[參考文獻]

[1] 張洪龍.基于結構光的室內場景精確三維重建技術研究[D].北京：中國科學院大學，2018.

[2] 張劍飛.基于冗余過濾的多面體Minkowski和計算方法研究[D].秦皇島：燕山大學，2015.

[3] 吳繼華.將低成本FPGA用于視頻和圖像處理[J].電子設計應用，2007，24（1）：26-30.

[4] JENTZ B J.采用FPGA實現視頻和圖像處理設計[J].今日電子，2008，37（10）：64-67.

[5] 林品武.LED體三維顯示研究[D].江門：五邑大學，2014.

[6] 曹健，焦海，王源，等.基于FPGA與DLP的體三維顯示系統設計方法與研究[J].北京大學學報（自然科學版），2014，50（4）：605-610.

[7] 錢峰，馬秀麗，萬旺根.基于FPGA的醫學圖像三維重建系統設計與實現[J].計算機工程與應用，2011，47（7）：211-214.

[8] 段勇，裴明濤.基于多RGBD攝像機的動態場景實時三維重建系統[J].北京理工大學學報，2014，34（11）：1157-1162.

收稿日期：2020-05-07

作者簡介：吳銳（1999—），男，四川閬中人，研究方向：數字圖像處理。