物聯網可定位光場相機控制方法

摘 要：光場相機由于其自身不需要對焦的優勢在很多行業都得到了廣泛應用。但是光場相機還沒有實現對目標的定位和精確查找，限制了光場相機在當今物聯網時代的發展。為了實現光場相機的精確定位和目標精密查找功能，使光場相機能夠給工業生產、工業元宇宙、仿真工廠等行業的發展提供便捷的工具性服務，本文將光場相機的三維成像技術與通信裝置、指南針、三軸陀螺儀、定位裝置以及光場相機控制系統相融合，應用OCR文字識別功能和圖像查詢功能，實現對所拍攝物體進行精準三維圖像合成以及所在圖像的精確定位，并且在工業4.0的機器人車間精確展示出用戶當前所處的位置及當前位置周邊設備的分布，為設備的維修、管理等提供圖片參考。該方法可以為工業生產、工業元宇宙、仿真工廠等的發展提供豐富的底層數據基座，推動我國工業新制造的發展。

關鍵詞：物聯網；可定位；光場相機；三維照片；數字孿生地圖；三維深度信息

中圖分類號：TP39；TB879 文獻標識碼：A 文章編號：2095-1302（2024）02-00-04

0 引 言

在制造業的自動化、數字化、智能化轉型過程中，需要應用大量的機器視覺和物聯網相關技術，物聯網可定位光場相機可被廣泛應用于工業設備監測、故障診斷、故障維修中，對拍攝物體進行三維圖像數據合成并進行精確定位，還能支持文字查詢、圖像搜索等功能，可在機器人車間精確展示出用戶當前所處的位置及當前位置周邊設備的分布，為設備的維修、管理等提供參考。

1 概 述

光場相機是“先拍照后對焦處理”的相機，光場相機吸收照射進相機的瞬間光線，測量場景內的所有光線，然后重造三維光場，對場景進行還原。在這個過程中，光場相機收集光線，并將其轉化為多個1和0，再針對不同用途對數據進行處理。光場相機的核心在于兩部分，即光場感應器（硬件設施）和光場引擎驅動（軟件支持），前者類似于蒼蠅的復眼，能夠將場景中所有光線的波長、強度和方向一一撲捉，而后者則主要為后期圖像制作提供支持。

隨著物聯網的不斷發展，普通相機已不能滿足當今物聯網的需求，光場相機由于其自身不需要對焦的優勢在很多行業都得到了廣泛應用。但是，目前光場相機的應用主要針對普通大眾消費領域，例如3D效果和動畫效果制作等，而對于物聯網中目標的精確查找與定位還不夠“智慧”。例如，德國RAYTRIX 3D光場相機的具體實現方法為：先將光場相機安裝好，再拍攝照片并列印，并將需要定位的目標物體在打印出的照片中標出，使得目標物體在照片中的位置與實際物理位置對應，從而實現需要定位的目標物體的實際物理位置與照片中的位置對應。然而，上述方法費時費力，并且精確度不高。

物聯網可定位光場相機結合定位功能及指南針、陀螺儀等對拍攝照片中的物體進行定位，能夠精確確定每一物體在所拍攝照片中的精確位置，能實現3D照片及照片地圖等的合成。此外，還結合ORC文字查詢功能及圖像識別、圖像搜索查詢等功能，實現物體定位的智能化，方便用戶快速查找需要定位的目標物體并根據目標物體在照片地圖中的位置確定該物體的實際物理位置。

2 物聯網可定位光場相機實現方法

光場相機能夠記錄三維空間中光線的位置和角度信息，重建場景的三維深度信息[1]。光場的概念最早由Gershun[2-3]提出，用以描述光在三維空間中的輻射傳輸特性。Ng等[4]在主鏡頭和相機成像探測器之間放置微透鏡陣列，研制出光場相機，實現了單相機的光場獲取，但是這種傳統光場相機的分辨率較低。Georgiew 等[5-6]提出了光場相機2.0的設計，也稱為聚焦光場相機。聚焦光場相機的成像探測器不在微透鏡陣列的焦面上，減少了光線方向維度的采樣，用較低的方向分辨率換取相對更高的空間分辨率，有效提高了重聚焦圖像的成像分辨率。

物聯網可定位光場相機由存儲器、處理器、通信裝置、指南針、三軸陀螺儀、定位裝置以及光場相機控制系統組成，詳細如圖1所示。

指南針用于在光場相機拍攝照片時測量物聯網可定位光場相機的拍攝方向。三軸陀螺儀用于在物聯網可定位光場相機拍攝照片時測量物聯網可定位光場相機的拍攝角度。處理器用于獲取物聯網可定位光場相機拍攝的多張照片及物聯網可定位光場相機拍攝每一照片時的拍攝方向及拍攝角度，并根據每一照片的拍攝方向及拍攝角度將多張照片合成為三維照片。光場相機的處理器還包括識別模塊，用于識別物聯網可定位光場相機拍攝的照片上的文字，將照片上的文字轉換成可編輯文本，并將可編輯文本與其對應的照片關聯。處理器上還包括圖片識別模塊，可根據使用者輸入的圖片從物聯網可定位光場相機所拍攝的照片中搜索出與該使用者輸入的圖片相匹配的照片。定位裝置用于對物聯網可定位光場相機所在位置進行定位。物聯網可定位光場相機還包括通信裝置，用于實現物聯網可定位光場相機與遠端服務器之間的連接。

南京大學的張益昕認為[7]三維照片形成的方法是，首先采用高曝光圖像峰值檢測法對微透鏡陣列中心進行標定；然后利用標定得到的中心坐標數據對原始光場數據進行重映射得到4D光場；最后利用重積分與基變換的方法對獲取的4D光場數據進行處理，獲得光場重聚焦圖像。接下來采用交互式方法分割出場景中紋理較為復雜的部分；然后利用散焦深度圖結合分割出的場景重新定義原始場景的深度范圍；最后采用光場圖像散焦與相關性結合的方法得到量化級為256的深度圖。這里重新定義的深度范圍實質就是光場圖像的重聚焦范圍。利用該方法在不增加深度生成時間的情況下，提高了深度圖的整體質量，有利于對生成的深度圖像進行后期處理與應用。

利用光場原始圖像進行數字重聚焦獲取多幅不同深度的散焦圖像；再利用散焦方法生成一幅簡單的深度圖像；最后利用深度圖像確定每幅散焦圖像的具體聚焦位置以進行最后的全聚焦圖像生成。該方法突破了傳統基于圖像融合的全聚焦圖像生成算法的限制，能夠準確找出散焦圖像的聚焦區域，進行全聚焦圖像生成。

光場相機拍攝照片時控制光場相機上一定位裝置對光場相機所在位置進行定位；獲取光場相機拍攝每一照片時的位置信息，并根據每一照片的拍攝位置、拍攝方向及拍攝角度將多張照片合成一三維照片地圖。光場相機拍攝照片上的文字，將照片上的文字轉換成可編輯文本，并將可編輯文本與其對應的照片關聯。另外，根據使用者輸入的圖片從光場相機所拍攝的照片中搜索出與該使用者輸入的圖片相匹配的照片。

物聯網可定位光場相機不僅能夠精確確定物體在所拍攝照片中的精確位置，實現照片地圖等的合成，通過結合ORC文字查詢及圖像識別、圖像搜索查詢等功能，還可實現物體定位的智能化，方便使用者快速查找需要定位的目標物體，并根據目標物體在照片地圖中的位置確定該物體的實際物理位置，如圖2所示。

3 物聯網可定位相機實現流程

物聯網可定位光場相機用于特定場所，例如超市、生產車間、停車場、倉庫等空間內進行拍攝。圖3是物聯網可定位光場相機控制方法的步驟流程。

南京信息工程大學的錢蕾認為[8]，不采用三角測量方式的測量方法局限于縱深物體的測量。也有人提出多相機系統的方式，即一個相機采集不到，別的相機能采集到。理論上，相機越多，最終結果完整性就越好，然而系統會變得越來越復雜，系統耗費更大。本文所用的光場相機的一次拍攝能夠獲取比傳統的CCD（Charge-Coupled Device， CCD）相機更加豐富的角度信息。我們通過將傳統結構光系統中的CCD相機替代為光場相機，構建新的結構光系統，將采集的多角度圖片生成的數據采取合適的方法融合，能夠一定程度上獲得比傳統結構光系統更加完整的三維數據。

三維照片地圖是指具有地圖功能的三維照片，光場相機拍攝照片時控制定位裝置對光場相機定位，從而獲取光場相機的位置信息和相對定位信息，例如工業4.0機器人車間某一編號的機器人機械手臂的末端等。根據照片的拍攝位置、拍攝方向及拍攝角度將多張照片合成為真實場景下的，符合實際位置、方向及角度的三維光場地圖，也可稱其為三維光場數字孿生地圖。

在合成的三維光場數字孿生地圖上，將照片上的文字內容轉換成可編輯文本并將可編輯文本與其對應的照片關聯，便于用戶根據文字信息搜索照片。本文在文字信息搜索中采用光學字符識別（Optical Character Recognition， OCR）技術識別照片上的文字內容并將文字內容轉換為可編輯文本。

（1）控制模塊在物聯網可定位光場相機拍攝照片時發送控制指令控制物聯網定位，指南針測量物聯網可定位光場相機的拍攝方向，控制物聯網可定位三軸陀螺儀測量物聯網可定位光場相機的拍攝角度。

（2）獲取模塊獲取物聯網可定位光場相機拍攝的多張照片及物聯網可定位光場相機拍攝照片時的拍攝角度及拍攝

方向。

（3）合成模塊根據照片的拍攝方向及拍攝角度將多張照片合成為三維照片。

（4）控制模塊在物聯網可定位光場相機拍攝照片時控制物聯網可定位裝置對物聯網可定位光場相機的拍攝位置進行

定位。

（5）獲取模塊獲取物聯網可定位光場相機拍攝照片時對應的位置信息。

（6）合成模塊根據照片的拍攝位置、拍攝方向及拍攝角度將多張照片合成為三維照片地圖。

（7）文字識別模塊識別物聯網可定位光場相機拍攝的照片上的文字，將照片上的文字轉換成可編輯文本并將可編輯文本與其對應的照片關聯。

（8）圖片識別模塊用于從物聯網可定位光場相機所拍攝的照片中搜索出與該用戶輸入的圖片相匹配的照片。物聯網可定位控制模塊還可根據輸入的圖片確定該圖片在物聯網可定位三維照片地圖上所處的位置，并將物聯網可定位位置標示出來。

4 物聯網可定位相機的物聯網功能

本物聯網可定位通信裝置用于實現物聯網可定位光場相機與其他光場相機或遠端服務器之間的通信數據傳輸，物聯網可定位通信裝置可以是藍牙模組、WiFi模組、ZigBee模組等。

假定該模塊用來檢測產線的各設備是否正常運行，多個WiFi數據兼精確定位模塊發數據給云端數據存儲服務器，云端數據存儲服務器根據接收的多個WiFi數據兼精確定位模塊判斷檢測各設備是否正常運行，若發現某個設備的部件出現故障，例如模塊2設備出現故障，則將模塊2的位置信息發給云端位置存儲服務器，將所有拍攝的光場實物、3D圖像等進行定位，生成光場地圖，進行文字/圖片查詢，輔助實現實際導航功能。

云端位置存儲服務器查詢并傳回模塊2設備的精確光場圖片，包括設備詳細的3D光場照片和設備周圍的詳細3D光場照片，用于測算設備間的距離、判斷設備的結構及其復雜性、確定設備的檢修方法和檢修工具以及檢修路線，如圖4所示。

物聯網可定位三軸陀螺儀在物聯網可定位光場相機拍攝照片時用于測量物聯網可定位光場相機的拍攝角度，物聯網可定位裝置用于在物聯網可定位光場相機拍攝照片時對物聯網可定位光場相機所在位置進行定位，物聯網可定位裝置可以是GPR定位模組，也可以是室內精確定位裝置。例如，采用谷歌室內定位技術、諾基亞室內定位技術、博通室內定位技術、IndoorsAtlas室內定位技術、Qubulus室內定位技術的裝置。

物聯網可定位控制模塊還可控制物聯網可定位通信裝置將物聯網可定位光場相機拍攝的照片發送至其他光場相機或遠端服務器，方便用戶在遠程服務器端根據物聯網可定位光場相機拍攝的照片了解拍攝現場的情況。在物聯網可定位光場相機中，多個光場相機均可與遠端服務器通信，并將拍攝的照片及獲取的照片信息發送至物聯網可定位遠端服務器，物聯網可定位遠端服務器根據物聯網可定位多個光場相機拍攝的照片進行三維照片地圖的合成。

5 結 語

伴隨著工業4.0的發展以及制造業的自動化、數字化、智能化轉型，需要應用機器視覺和物聯網相關技術，尤其在工業設備監測、故障診斷、故障維修過程中，物聯網可定位光場相機可以實現對整個區域內所有物體的精確定位，還能支持文字查詢、圖像搜索等功能，可在工業4.0機器人車間精確展示用戶當前所處位置及當前位置周邊設備的分布，為設備的維修、管理等提供參考。

物聯網可定位光場相機及其控制方法能夠應用于室內、室外的精確拍攝定位，可以給工業生產、工業元宇宙、仿真工廠等制造業的發展提供豐富的底層數據基座，推動我國工業智造的發展。

參考文獻

[1]張春萍，王慶.光場相機成像模型及參數標定方法綜述[J].中國激光，2016，43（6）：0609004.

[2] GERSHUN A.The light filed [J]. Journal of mathematics and physics，1939，18（1）：51-97.

[3] ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera [J]. IEEE transactions on pattern analysis amp; machine intelligence，1992，14（2）：99-106.

[4] NG R，LEVOY M，BREDIF M，et al.Light field photography with a hand-held plenoptic camera [J]. Computer science technical report，2005，2（11）：1-11.

[5] GEORGIEW T，LUMSDAINE A. Focused plenoptic camera and rendering [J]. Journal of electronic imaging，2010，19（2）：0211061.

[6] LUMSDAINE A，GEORGIEW T. The focused plenoptic camera [C]// 2009 IEEE international conference on computational photography sanfrancisco America，2009（15）：1-8.

[7]孫俊陽，孫俊，許傳龍，等.一種基于光場圖像的聚焦光場相機標定方法[EB/OL].http：//www.doc88.com/p-1187437105888.html

[8]張益昕.基于計算機視覺的大尺度三維幾何尺寸測量方法及應用[D].南京：南京大學，2011.

[9]錢蕾.基于圖像序列的三維重建技術研究[D].南京：南京信息工程大學，2011.

[10]劉玉軒，張力，艾海濱，等.光場相機三維重建研究進展與展望[Z].10.12263/DZXB.20211615.

[11]孫俊陽，孫俊，許傳龍，等.一種基于光場圖像的聚焦光場相機標定方法[Z].10.3788/AOS201737.0515002.

[12]呂斌，裴承全，田進壽，等.基于物聯網的智能化條紋相機控制系統的研制[J].光子學報，2017，46（5）：80-87.