虛擬現實(VR)和增強現實(AR)技術在漁業上的應用

王鐘澤 馬曉飛 段金榮，

(1 南京農業大學無錫漁業學院，江蘇無錫 214081；2 中國水產科學研究院淡水漁業研究中心，江蘇無錫 214081)

漁業是經濟的重要組成部分，不僅為人類提供魚、蝦、貝、藻等食品，同時也具有重要的休閑、娛樂功能，例如垂釣、觀賞捕魚、旅游度假等一體的生產經營形式，眾多知識性教育形式的水族館、海洋博物館等。我國“十四五”規劃中提出，漁業應該進入加快推進高質量發展、爭取盡早實現現代化的關鍵階段。近年來，三維(3D)建模、游戲引擎、編程等技術的發展和頭戴顯示器(簡稱“頭顯”)等設備成本的降低，推動了虛擬現實(virtual reality，VR)技術和增強現實(augmented reality，AR)技術的快速發展和應用。VR和AR技術在水產養殖、休閑漁業、水產新設備的開發、水產教育與培訓等方面都具有較大的應用前景。

1 VR和AR技術

1.1 VR技術簡介

VR技術即虛擬現實技術，是通過計算機仿真技術、傳感技術、三維圖像技術等構建的虛擬環境以增強用戶虛擬體驗的新技術[1]。虛擬現實系統可以分為非沉浸式虛擬現實系統、沉浸式虛擬現實系統、分布式虛擬現實系統和增強現實系統。非沉浸式系統技術簡單只用3D建模和編程技術就可以完成制作，使用鼠標或者數據手套在顯示器上進行操作。沉浸式虛擬現實系統利用頭顯、觸覺手套等設備把用戶的視覺、聽覺、觸覺等封閉起來，目前主要使用Unity 3D或者虛幻引擎制作相應的軟件產品。其中，頭顯和觸覺手套等設備的制作需要用到傳感器技術，視覺跟蹤技術，語音輸入輸出技術，聽覺、力覺和觸覺感知等技術[2]。目前VR技術已被用于很多方面，如虛擬訪問水下場所[3]、研究背痛康復[4]、使用全景視頻作為街景質量審查方法等[5]。我國于2016年發布的《國家創新驅動發展戰略綱要》將此技術列為戰略任務之一[6]。

1.2 AR技術簡介

AR技術即增強現實技術，是一種實時通過相機影像的位置和角度精算，并加上圖像分析技術，將真實世界信息與虛擬世界信息無縫集成的新技術，并且可以將屏幕上的虛擬場景與現實世界進行互動[7]。由于AR能增強對真實環境的輸出、設備更便捷、專家可通過共享視圖遠程指導現場工作人員，因此在教育、遠程操作、建筑、工業等領域具有明顯的優勢。

2 VR和AR技術在水產養殖中的應用

近年來，VR和AR技術不斷進入到農業和養殖領域，如在景觀設計中觀察植物生長[8]、VR農場項目游覽[9]、可視化農產品設計、VR養殖[10]、VR農產品廣告、AR養殖等[11]。AR技術在農業上可作為信息收集器，手機AR軟件或者AR眼鏡可以通過相機不斷地收集碎片化信息，經過分析后綜合呈現出來。

2.1 AR技術在水產養殖中的應用

AR技術有助于提高水產養殖行業的生產力。如通過AR與水下機器人的結合，養殖者可以便捷地分析水產品的健康情況、池塘水質和存活率等。Laranjeira等[12]的論文闡述了混合現實在利用遙控潛水器探索深海環境方面的優勢和挑戰，介紹了法國海洋科學研究所開展的一項開發方案，并用技術專題和使用案例舉例說明來自相機的視覺3D感知被證明能夠實現AR概念。He等[13]使用增強現實可視化算法自主研發了用于水質檢測的輕型水下機器人。2019年，Anders[14]探討了水產養殖中水下無人機的增強現實技術。該論文討論了水產養殖與增強現實相關的問題，介紹了一些行業案例，認為增強現實技術在未來的魚類養殖中將發揮重要作用。他還測試了一種叫做ORB-SLAM的SLAM方法來實現水下增強現實應用的魯棒(Robust Control)跟蹤和定位。ORB-SLAM有一個AR演示，可在機器人操作系統中運行，AR內容的創作在Unity 3D中使用Vuforia的AR庫完成，通過VSLAM對水下目標進行定位和跟蹤。隨著圖像識別技術的日趨成熟，許多國家開始使用攝像頭監控漁船的捕撈，對捕獲的魚類進行識別，從而避免非法捕撈[15]。對魚類健康的分析也可使用相似的技術，即首先對魚群、魚類體表特征、水質照片進行采集，通過深度卷積網絡架構建立學習模型，采用圖像數據集進行訓練，接著進行模型遷移以匹配識別任務，使用TensorFlow作為后端框架，當水下機器人進入水中拍攝照片或視頻時可通過顯示器實時看到水中場景，并分析魚類的健康信息。

全球魚類健康服務服務供應商STIM將歐瑞威爾AR頭戴計算機和遠程協作方案引入水產養殖行業，對全球孤立的漁場實現每年數次的魚類健康檢查。漁場可以與STIM的健康人員及時取得聯系，上傳采樣測試結果，并能遠程得到魚類專家的評估。歐瑞威爾的頭戴計算機采用安卓系統，以AR、AI和loT物聯網技術捕捉數據，使用語音操作視線下方的微型高清顯示屏，其AR遠程養殖技術可解決魚類養殖中的健康管理和遠程協作問題，對我國漁業有著很好的借鑒意義。Rahman等[16]設計了一個針對蝦類養殖管理的傳感、機器學習和增強現實的集成框架，并開發了一個可視化交互頁面，可使用Microsoft HoloLens 2 AR頭戴顯示器訪問水質數據，對水中溶解氧、pH和溫度實現最佳預測。Xi等[17]的論文中以水產養殖為例，展示了3個增強現實在農業管理的案例。魚類的喂食需要考慮水質和池塘生物等復雜決策，使用AR技術可優化飼料管理；AR技術可以幫助農場主有效地分析農場信息，調整換水計劃，使池塘溶解氧保持在合適的范圍；使用增強現實協作技術可以與專家分享魚塘視圖信息，在工作時得到精確的指導。AR技術在水產養殖上的應用可提高綜合生產力和管理效率，做到規模化養殖。

2.2 VR技術在水產養殖中的應用

VR技術在水產養殖中可用于漁場的三維可視化管理、漁業設備的可視化設計。三維可視化平臺具有方便管理信息內容、運行便捷、功能豐富等優點，還可以對人員和設備實現智能監控及一些其他功能。通過AI智能監控的分析功能，可及時發現池塘中魚類的不良狀態或者對闖入的人員進行警告處理等。其主要使用Three.js或者Cesium.js框架加載三維模型并制作一些特效，通過Echart或Chart.js及其他可視化平臺設計圖表。

借助三維建模技術設計漁業設備，可以將模具和組裝過程輸入計算機進行處理，在組裝過程中出現的差錯可及時通過計算機進行修改，還可以在虛擬環境中對產品進行檢測，觀察各部分性能是否正常。通過虛擬現實技術可以將產品更好地表達出來，確保產品的可靠性，降低制造成本，縮短產品生產時間[18]。

虛擬現實技術還可用于飼料和魚藥銷售統計網站的建立和作為水產養殖培訓的工具。在網頁中可運用VRML技術來展示三維產品及服務，給消費者以自由操作空間來全方位多角度地了解產品功能[19]。挪威科技大學的Kawan等[20]建立了魚類3D模型，在Unity3D游戲引擎中制作3D虛擬世界來模擬魚類的生態系統、種群動態等行為，并設置一些參數研究魚類行為隨時間的變化。該項目的研究主要是為了教育和培訓，在虛擬世界中用戶可以通過設置一些參數，直觀地看到模擬的效果，這樣經過短時間的培訓就可以獲得專業技能，幫助他們從事漁業工作。

3 VR和AR在休閑漁業中的應用

休閑漁業是利用漁業設備、漁村空間、漁具、漁業產品、漁業生產場地、漁業自然資源和人文資源等，經過合理規劃發揮漁業的休閑旅游功能[21]。休閑漁業為漁業經濟轉型提供了基礎，拓寬了漁業發展的道路。休閑漁業主要包括以釣魚和捕魚為標志的經營形式，以海洋、江河、湖泊等自然環境開發的漁業景點，以科普教育形態的海洋博物館、水族館等幾類方向，其中許多方面都可以運用到VR和AR技術。

3.1 VR在垂釣和捕魚中的應用

在垂釣和捕魚中使用VR技術可以極大地增加人們的樂趣，克服感知的局限性，改善探索未知自然界的能力。在2017年美國消費電子展覽會(CES)上，臻迪科技有限公司發布了首款具有尋魚和誘魚兩大功能的水下小海鰩釣魚機器人，給用戶帶來了沉浸式和可視化釣魚新體驗。VR釣魚機器人將VR技術與無人機技術結合起來，面向垂釣、捕魚、水下拍攝、沉浸式游覽等場景[22]。水下VR垂釣機器人搭載聲吶技術可以探測魚群位置、水下地貌等信息，內置誘魚燈及LED燈光配置釣魚線，可以自動將魚鉤送到魚群最多的位置。通過VR相機和手機APP，操縱者可以實時查看水下場景及魚類上鉤的瞬間，增加釣魚樂趣，還可以開闊釣魚者水下世界的視野。釣魚機器人搭載的聲吶探測可四處移動尋找魚群蹤跡，把探測器移動到水中更好地識別魚類所在位置的地貌和坐標。VR相機可以直接查看魚群大小和種類，通過VR釣魚機器人可實現在大中型水庫中更加高效地進行魚類捕撈和減少漁船的油耗。

3.2 VR在漁業景點交互式漫游系統研發的應用

虛擬漫游系統已經成為景點對外宣傳最直觀的表現形式，可為景點樹立良好的形象，還可以讓來訪者便捷地瀏覽景點的風光和相關介紹。由于全景交互式漫游不需要進行三維建模，只需要全景圖或者全景視頻就可以制作，因此廣泛應用在樓盤展示、景區宣傳、校園漫游等領域中[23]。我國具有眾多的漁業自然資源，這些地區可制作全景虛擬漫游系統來提高自己的知名度。Pano2VR是一款專業的全景圖轉化軟件，可以輕易把全景圖轉化為超文本5.0(HTML5)格式，實現720度查看場景內容，并可以增加視頻、音頻、文字等交互性信息，全景圖可以輕易通過市面各種全景相機拍攝獲取，目前1臺全景相機的價格也僅僅幾百元。使用Pano2VR可快速簡單低成本地針對漁業場所開發出相應的虛擬漫游場景介紹，也可以將全景圖放在720云VR平臺上進行編輯和在線訪問，Mozilla開發的A-Frame WebVR框架也可對全景圖或全景視頻實現720度的查看內容。沉浸式的VR漫游系統可以使用Blender建模軟件和Unity3D軟件開發并配合沉浸式VR頭盔進行使用。福建省海洋與漁業局共同研發了綜合“海、陸、空”海洋觀測設備的VR體驗平臺、海洋印象館VR和全息浴缸互動體驗系統。該項目在第二屆數字中國建設峰會展覽中吸引了眾多的觀眾排隊體驗，受到了好評。Jung[24]使用Blender建模和Three.js技術構建了Web端的VR/AR應用程序，向游客介紹韓國濟州島的文化遺產，提供了一種直觀的方式來體驗島上的文化遺址。

3.3 VR和AR在水族館和海洋館中的應用

水族館和海洋館不僅是展示水生動植物的場所，更具有科普教育功能，但其造價比較昂貴，受限條件比較多，在城市中普及率不高。使用虛擬現實技術構建水族館可以克服時間和空間的限制。劉箴[25]使用VRML和3DS max實現某虛擬水族館的場景。虛擬水族館為觀察魚類提供了新的技術手段，在一定程度上也可以增加場景與人之間的互動。在虛擬水族館和海洋館中不僅可以模擬真實環境中的魚類生活場景，還可以保護珍貴生物，避免了因地理位置等因素對生物生存的不良影響。馬來西亞大學的伊斯梅爾在移動設備上創建了1個VR水族館，可以幫助人們學習和了解魚類[26]。恒潤集團西灣海洋VR館將創意與虛擬體驗相融合，設計了“720VR海嘯體驗”“潛水艇VR海底探險”和“飛躍西灣”3個項目，可使用戶真實地體驗海洋世界。筆者團隊使用Blender軟件構建魚類模型，并制作魚類游動的動畫效果，把模型導入Unity3D中并加載谷歌的Cardboard VR插件，最后打包成apk軟件，用戶可使用Cardboard VR眼鏡在手機端看到魚類游動的逼真場景(見圖1)。

圖1 使用VR眼鏡在手機端看到的魚類游動場景

水族館和海洋館經營者也可以使用AR技術來增強游客的體驗，吸引游客的興趣。如新加坡的藝術科學博物館配備了帶有云臺的手機作為虛擬世界的窗口，乘客可以在特定地點看到一些瀕危動物，實現了與真實世界的互動。2020年開幕的Xpark水族館策劃了一系列以企鵝為主題的AR體驗，用戶通過下載手機APP掃描館內的隱藏版符號，可欣賞到AR動畫，游客還可與企鵝、白鯨等拍照留念。丹戎巴勞漁民博物館中的一個畫廊用增強現實技術來增加與游客的互動[27]。此類AR產品通常使用Unity3D中的Vuforia Engibe AR插件開發。

4 VR和AR技術在水產教學中應用

使用AR和VR技術組織教學，可以把知識以三維形式表現出來，有利于學生對知識的理解，加強學生記憶，增加學習興趣[28]。Putri[29]以40名學生為樣本，進行了光與光學主題的探究式虛擬實驗活動，實驗數據表明，虛擬實驗室活動可提高學生的科學素養。水產是一個應用性較強的學科，水產類課程應以提高學生解決問題的能力、培養實用型人才為導向[30]。把VR和AR技術應用在水產課堂教學、構建仿真實驗室、水產養殖和實習平臺可以有效地提高學生的動手能力。挪威科技大學使用虛擬現實AR設計水產養殖模擬器，結合頭顯設備，為學生講解水產養殖中的技術，包括魚類疾病預防和逃逸預防等[31]。挪威科技大學還開發了一款虛擬漁場應用軟件，該應用可以使學生通過計算機或者VR設備參觀漁場，用來增加學生對水產養殖的興趣。挪威弗雷亞當地的養殖場與NTNU、SINTEF和Sar-Trandelag縣合作,聯合開發了一個虛擬現實水產養殖模擬器[32]，用于向公眾傳播鮭魚養殖知識，還可為學生和員工提供培訓機會。VR技術可以在水產養殖教學課堂為學生提供逼真、生動的環境。在《魚類學》課堂上為學生講解魚類時，查看通過計算機建立的虛擬魚類模型，可以根據需要任意放大、旋轉、平移魚類虛擬模型。圖2是筆者團隊上線的一個3D魚類虛擬標本產品，可在任何能訪問網絡的設備查看。該產品使用Three.js技術加載了Blender軟件導出的魚類glb模型，可實現秒級加載數據，訪問地址為https://ringstar.top。

圖2 3D魚類虛擬標本展示

自2013年起，教育相關部門通過建立國家級虛擬實驗教學中心和設立國家級虛擬仿真實驗室等項目積極引導高效開展相關工作[33]。虛擬仿真教學使學生在虛擬環境中進行高效的學習，可以實現良好效果，是對傳統實驗教學的革新[34]。中國海洋大學依托專門的團隊搭建了虛擬仿真實驗平臺，實現了實驗、實習、實訓等教學任務，取得了較為明顯的教學效果。水產實習受養殖周期、季節等條件限制，學生在實習時往往只能參與部分生產活動，實習效果得不到保障。利用虛擬現實技術開發的虛擬水產實習項目，可以模擬工廠化水產養殖，解決實習受養殖周期、季節、地域等條件的限制，學生可以在項目中反復練習，強化水產實踐技能。如廣州世峰數字科技企業開發了針對水產養殖生產實習的VR仿真項目。虛擬仿真實驗室還可以解決傳統實驗教學的高成本、高消耗等問題。目前大連海洋大學水產學院已建立了3D水產養殖虛擬仿真實驗室，開發出接近真實的實驗環境，學生在實驗中的每個步驟都會生成實驗報告[35]。3D水產虛擬實驗室可以降低教師的負擔，改變傳統的實驗模式，使實驗更加規范合理。使用VR和AR技術為學生建立良好的學習環境，不僅可以調動學生的積極性，給學生留下深刻印象，還可以提升教學質量，降低教學成本，彌補教學中條件的不足，對學生技能的提升起到積極的作用[36]。

5 展望

如今VR和AR所需的技術已經日漸成熟，各種應用正在快速增長。VR和AR技術在漁業上的應用有利于推動水產行業人才的快速發展、魚類產量的提高以及漁業的可持續發展，其巨大的潛力也將推動水產養殖和水產捕撈的巨大變革。然而，VR和AR的在漁業上應用也存在一些困難，例如需要配置高質量的頭顯設備，資金投入量大，維護費用較高等[37]。此外，虛擬現實核心技術的觸覺反饋系統與真實感覺仍有很多差距，增強現實設備的研發仍面臨很多問題[38]。雖然VR和AR在漁業上的很多應用仍處于初級階段，但是，隨著技術的發展，VR和AR技術必將在不久的將來對漁業產生更多更深遠的影響。