基于肢體動作交互的森林經營作業模擬研究

朱念福，張懷清*，崔澤宇，楊廷棟，王林龍，劉 華

(1.中國林業科學研究院資源信息研究所 北京 100091；2.國家林業和草原局森林經營與生長模擬重點實驗室 北京 100091；3.中國林業科學研究院林業科技信息研究所 北京 100091)

森林經營是林業研究的重點內容[1-6]，目前諸多研究利用計算機模擬森林經營[7-20]，既有經營前后的森林狀態二維圖表對比[7-13]，也有森林三維場景經營前后的畫面對比[14-19]，都能不同程度地表達森林經營的效果。這些相關研究主要利用了計算機計算能力和直觀展示效果，較少考慮森林經營中頻繁的作業過程的模擬與交互。不同的森林經營目標會采用不同的作業方法[21-27]，而實地培訓森林經營作業存在一定的安全隱患，且成本高，周期長，受環境影響較大，因此，應用計算機模擬森林經營作業能在一定程度上彌補這些不足。

目前常見的森林景觀仿真系統提供給用戶側的交互方式則較為簡單，大都通過鍵盤、鼠標或手柄進行漫游交互，難以滿足森林經營作業仿真模擬的各種交互需要。基于人機交互的虛擬現實技術[28-34]為森林經營作業的模擬提供了新的思路，在森林經營作業模擬中不僅可以提供逼真的森林環境，而且交互方式形象、直觀，使用戶身臨其境。其中，沉浸式虛擬現實系統[34-38]具有沉浸感強、交互自由，虛擬仿真范圍廣，可多人同時觀察虛擬場景的特點，在森林經營作業仿真模擬方面具有較大的優勢。系統可以利用紅外跟蹤傳感模塊實時獲取感光物體的空間坐標和方向信息，根據肢體動作的追蹤來判斷用戶的交互需求。本研究利用紅外追蹤技術，研建應用于森林經營作業仿真模擬的肢體動作交互模型，結合補植、修枝和伐木等作業過程，在森林仿真場景開展森林經營作業試驗。

1 森林經營場景仿真

1.1 沉浸式虛擬現實與可視化模擬系統（CAVE2）

森林經營三維仿真場景基于Unity3D 渲染引擎構建，在沉浸式虛擬現實與可視化模擬系統（CAVE2）中顯示。CAVE2 是目前國際上最新一代的虛擬現實與可視化模擬系統，由顯示系統、圖形圖像處理系統、紅外追蹤系統、多聲道音頻系統、中央控制系統等組成，配備偏振光3D 眼鏡、感光物體和交互手柄等設備。顯示系統由72 塊顯示屏拼接而成，形成320 度的環形空間，可以展示二維或三維畫面，具有分辨率高、沉浸感強等特點。圖形圖像處理系統由一臺主節點和18 個分節點組成，進行集群圖形圖像處理和并行渲染運行。紅外追蹤系統由10 個紅外跟蹤單元和相關追蹤軟件組成，紅外追蹤系統實時獲取感光物體的相對距離，獲得感光物體的空間坐標和方向。感光物體固定在交互手柄上，通過初始設置，可以將現實中的用戶位置和虛擬場景中的攝像頭坐標和方向聯系起來，實現與場景的漫游交互功能。CAVE2 系統組成如圖1 所示。

圖1 CAVE2 系統Fig.1 CAVE2 system

1.2 森林場景仿真

1.2.1 森林三維仿真場景交互類型 森林三維仿真場景中，除了由手柄控制的漫游交互類型外，根據林木信息、林分信息等，制定UI 信息交互類型；參照中華人民共和國國家標準制定的《森林撫育規程》[38]，《森林采伐作業規程》[39]和《造林技術規程》[40]，選擇用戶側交互性強的經營措施，如目標樹選擇、補植等，制定森林經營措施交互類型。具體交互類型如表1 所示。

表1 交互類型Table 1 Interaction type

1.2.2 森林仿真場景構建 森林仿真場景為森林場景和森林經營相關工具構建，森林場景構建分為地形建模和林木建模。地形建模：使用30 m 分辨率的地形數據（圖2a）和紋理數據（圖2b）在Unity3D 中生成三維地形（圖2c）。林木建模：根據森林經營作業仿真模擬的交互需要，以及樹木形態結構的多樣性特征等因素，構建枝干分離的林木三維基礎模型（圖2d）。根據林分調查數據（湖南省黃豐橋國有林場某樣地，立地指數為18），構建森林仿真場景。

圖2 森林仿真場景Fig.2 Forest simulation scene

根據表1，構建森林經營作業需要的工具模型：手（圖3a）、油鋸（圖3b）、鋤頭（圖3c）和高枝剪（圖3d）。手用于操作UI 界面和選擇目標樹，油鋸用于伐木作業，鋤頭用于補植作業，高枝剪用于修枝作業。

圖3 森林經營工具模型Fig.3 Forest management tool models

2 肢體動作交互模型

當手持感光物體在CAVE2 內運動時，可以實時獲取用戶肢體動作的空間運動軌跡（圖4）。通過分析，運動軌跡有以下3 點規律：

圖4 肢體動作Fig.4 Body action

（1）感光物體的空間坐標變化較大，方向基本不變。

（2）感光物體的方向變化較大，空間坐標基本不變。

（3）感光物體的空間坐標和方向均有較大的變化。

參照森林經營措施作業過程，對伐木、修枝、補植和三維UI 界面對應的肢體動作分別進行定義。

2.1 伐木操作的肢體動作模型

油鋸是伐木的常用工具，油鋸在現實環境中的使用方式復雜，不考慮油鋸使用過程中會多次變更切割點和切割方向，簡化油鋸的伐木過程：油鋸與樹干接觸，鋸齒切割樹干，油鋸前后移動，無明顯方向變化。

考慮仿真場景中油鋸與使用者的相對距離變化來表示伐木操作，并通過現實中手臂伸縮來實現仿真場景中的距離變化。油鋸與使用者的距離變化（如圖5 所示案例）較為復雜，有以下問題需要考慮：

圖5 距離變化Fig.5 Distance variation

（1）同一肢體動作，不同的人的運動軌跡不同，同一人的運動軌跡也不會完全相同，因此定量分析較為困難。

（2）油鋸遠離使用者和靠近使用者的速度不同且復雜多變。

（3）大小不同的林木需要不同的采伐時間。

（4）肢體運動過程中，方向變化不大。

通過定性分析，有以下規律可以采用：

（1）油鋸先是遠離使用者，然后靠近使用者，根據林木大小重復若干次，可以用重復肢體動作來表示。

（2）油鋸與使用者的距離有最大值（最大距離因人而異，2～3 m）和最小值（0 m），若只保留數值不同的浮點數（保留一位小數），需要存儲的距離數據是有限的，因此可以逐條數據分析，并且與使用者的動作速度和動作時長無關，具有較好的穩定性。

基于以上分析，構建伐木操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，preDis表 示上一幀的距離，Log_FarDis為遠離集合，Log_NearDis為靠近集合，Log_AllDis為遠離與靠近的集合，Dir為肢體在當前幀的運動方向，Log_Dir為肢體運動方向集合。

（2）約束條件:Diff(Log_FarDis,Log_NearDis)表示遠離集合與靠近集合數據量的差值，maxDif f為允許的數據量最大差值；Num(Log_AllDis)表示肢體動作重復的次數，minNum為需要重復的最少次數；Angle(Log_Dir)表示肢體動作與使用者的角度變化，maxAngle表示允許肢體動作偏離的最大角度。

2.2 修枝操作的肢體動作模型

森林經營作業中，修枝是一項十分重要的經營措施，對林木生長和材質有較大的影響，修枝主要使用高枝剪實現。當枝徑較小時，可以直接剪落；當枝徑較大時，需要進行切割，切割樹枝的動作與伐木類似，但不考慮切割的次數。基于以上分析，構建修枝操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，preDis表 示上一幀的距離，Prune_FarDis為遠離集合，Prune_NearDis為靠近集合，Dir為肢體在當前幀的運動方向，Prune_Dir為肢體運動方向集合。

（2）約束條件：Di f f(Prune_FarDis,Prune_NearDis) 表示遠離集合與靠近集合數據量的差值，maxDif f為允許的數據量最大差值；Angle(Prune_Dir)表 示肢體動作與使用者的相對角度變化，maxAngle表示允許肢體動作偏離的最大角度；Branch_S ize表示枝徑；minS ize為實施修枝操作需要的最小枝徑。

2.3 補植操作的肢體動作模型

森林經營中，補植點與周圍林木需要一定間距；使用鋤頭工具進行補植時，肢體運動軌跡在空間中近似于拋物線，與使用者的距離先遠后近；肢體在空間中與地面的距離減小，肢體與水平面的夾角由正變為負。基于以上分析，構建補植操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，Replant_Dis表示肢體運動距離的集合；Dir表示肢體在當前幀的運動方向，Replant_Dir表示肢體運動方向的集合。

（2）約束條件：Far2Near(Replant_Dis)判斷肢體運動是否先遠后近；Vertical_Dis(Replant_Dis)判斷肢體與地面的距離是否持續減小；Pos2Neg(Replant_Dir)判斷肢體與水平面的夾角是否由正變負；Horizontal_Angle(Replant_Dir)表示肢體水平方向角度的最大變化量，maxAngle表示允許肢體在水平方向上的偏離角度；Replant_Time表示種植工具與地面接觸時長，minTime為需要接觸的最少時長；Replant_Point表示運動軌跡與周圍林木的距離，minDis為需要的最小補植間距。

2.4 UI 操作的肢體動作模型

UI 界面便于直觀顯示森林信息，是交互式森林經營模擬的重要組成部分，傳統的二維UI 界面不適用于CAVE2，因此選擇三維UI 界面來展示林木信息。肢體的上下左右運動與UI 選擇項的上下左右移動對應；肢體的旋轉與UI 點擊對應。基于以上分析，構建映射UI 操作的肢體動作模型如下。

（1）肢體動作：Dis表示肢體在當前幀的運動距離，UI_Dis表示肢體運動距離集合；Dir表示肢體在當前幀的運動方向，UI_Dir表示肢體運動方向的集合。

（2）約束條件：Orientation_Dis(UI_Dis)表示肢體動作在上下左右方向的移動距離，minDis為UI選擇項移動需要的最小距離；Rotation_Angle(UI_Dir)判斷肢體動作旋轉的角度，minAngle為UI 按鈕點擊需要的最小旋轉角度。

3 結果與分析

3.1 結果

將基于Unity3D 構建的森林仿真場景導入到CAVE2 平臺中運行，森林經營仿真場景如圖6 所示。

圖6 森林經營仿真場景Fig.6 Forest management simulation scene

為了驗證本研究構建的肢體動作能否準確映射到森林經營措施中，是否符合森林經營的作業要求，邀請了15 名研究生（10 人具有林學背景）和3 名涉及森林經營的研究者，使用虛擬經營工具，在仿真場景中根據經營措施做出相應的肢體動作（圖7），直至操作成功，統計結果如表2 所示。圖7a 為控制手的移動；圖7b 為選擇后出現的林木信息界面；圖7c 為油鋸模型與樹木接觸，準備進行伐木操作；圖7d 為伐木操作完成后，樹木倒下；圖7e 為高枝剪與樹枝接觸，準備進行修枝操作；圖7f 為修枝操作完成后，樹枝落下；圖7g 為鋤頭模型出現，準備進行移植操作；圖7h 為鋤頭模型接觸地面，出現移植標記點；圖7i 為鋤頭離開地面，生成樹木模型，移植操作完成。

圖7 森林經營措施Fig.7 Forest management measures

由表2 可知，大部分使用者只需做一次肢體動作便可成功完成森林經營作業，單次作業成功率達到86%，各項肢體動作均可正確映射到森林經營措施上。單次完成經營作業的人數：UI 操作（18）>補植（16）>伐木（15）>修枝（13）。其中，一次性完成作業人數最少的是修枝動作，有13 人，3 人需要兩次以上。經分析，一是因為樹枝的可接觸范圍小，容易產生接觸中斷；二是因為肢體動作幅度變化大，有些運動軌跡點會偏離，易造成坐標和方向誤判，伐木操作也有類似的問題。補植操作因為涉及到了時間判斷，而人們對時間的感受不同，也會造成時間誤判。UI 操作因為僅需判斷手的起點和終點的相對方向，無其他約束條件，單次作業成功率可達100%。

表2 肢體動作映射森林經營措施執行Table 2 Body movement mapping forest management measures implementation

3.2 分析評價

將上述研究結果進行森林經營作業仿真模擬評價，評價結果如表3 所示。由表3 可知，構建的森林經營仿真場景沉浸感強，滿足人機交互需要的流暢度；映射經營措施的肢體動作總體表現良好，交互評價良好率達到91%，可以滿足森林經營模擬的交互要求。評價最高的是UI 交互動作和場景沉浸感，18 個使用者均給予良好評價，是完成作業需要次數最少的；評價最低的是映射修枝的肢體動作，僅有14 個使用者給予良好評價，是完成作業需要次數最多。總的趨勢為完成作業需要的肢體動作次數越少，使用者評價越高。

表3 森林經營交互過程評價Table 3 Evaluation of interactive process of forest management

4 討論

沉浸式虛擬現實與可視化模擬系統CAVE2 在森林經營仿真模擬方面具有較大的優勢，針對目前經營作業模擬普遍存在的交互性差，缺乏自然、真實感的交互體驗，以及較難處理頻繁作業能力等問題，研建了一套基于肢體動作映射森林經營措施的交互方法。該方法主要利用了CAVE2 可以實時獲取感光物體的坐標和方向，將坐標和方向變化與森林經營措施作業過程的肢體動作聯系起來，實現了基于肢體動作交互的森林經營模擬。模擬過程形象直觀，效果良好。經營措施與虛擬的經營工具建立了對應關系，方便擴展交互需求，適合交互頻繁，交互類型多樣的森林經營可視化模擬。

研建的交互方法簡化了森林經營措施作業過程，模型考慮一只手的肢體動作過程，操作簡單，容易實現。由于森林經營作業設備的多樣性，以及森林經營措施的復雜性，在今后的研究中，可以研究使用雙手等更多肢體動作的交互來實現，以更自然和靈活多樣的交互方式來開展各種森林經營措施作業的模擬。

5 結論

本研究基于沉浸式虛擬現實與可視化系統CAVE2，在構建的森林三維仿真場景中模擬森林經營作業過程，構建了表示伐木、修枝和補植作業的肢體動作模型。通過森林經營仿真場景試驗，得到以下結果：（1）肢體動作模型可以較為真實、自然地模擬伐木、整枝和補植等交互性強的森林經營作業過程，單次完成經營作業模擬成功率達到86%，具有良好的穩定性，滿足應用需求；（2）構建的森林經營仿真場景沉浸感強，具有較好的森林經營交互流暢度和用戶參與程度，交互評價良好率達到91%。因此，基于肢體動作交互的森林經營作業模擬，可以形象、直觀地表達和分析復雜的森林經營措施實施過程，有助于加深使用者對森林經營的理解，提高森林經營輔助決策水平。