基于AR技術的手機拍攝軟件的開發

摘 要：近年來，AR與圖像處理發展迅速，并在生活娛樂、輔助教學等方面起著越來越重要的作用。本文采用圖像追蹤技術獲取動態目標，利用前景檢測技術和圖像融合技術更換視頻人物所處環境，采用NDK開發Android應用，實現了基于AR技術的手機拍攝軟件的開發項目。

關鍵詞：前景檢測；圖像融合；Vibe算法；運動目標追蹤；NDK開發

中圖分類號：TP311文獻標識碼：A文章編號：2096-4706（2018）05-0017-03

Development of Mobile Phone Shooting Software Based on AR Technology

ZHU Chenlu，SUI Chao，ZHOU Cuicui，LIU Gaoqiang，WANG Yuhang

（College of Computer Science and Technology，Jilin University，Changchun 130012，China）

Abstract：AR and image processing have developed rapidly in recent years，and play an increasingly important role in life entertainment，assisted teaching and so on. In this paper，the image tracking technology is used to obtain the dynamic target foreground detection technology Using the foreground detection technology and the image fusion technology to change the environment of the video characters，the Android application is developed by NDK，and the development project of the mobile phone shooting software based on the AR technology is realized.

Keywords：foreground detection；image fusion；Vibe algorithm；moving target tracking；NDK development

0 引 言

近年來，拍照功能越來越受到人們的重視，然而人們對于拍照功能創新性的提升似乎還是不夠滿意，拍照技術在一些方面還是存在著較大的局限性。另外，動態改變人物所屬場景應用的還是較為麻煩的綠幕技術。我們希望能夠開發出一款基于虛擬現實技術的拍照軟件，讓人們更便捷地體驗綠幕技術的效果。

隨著手機技術的不斷發展，人們更多的使用手機的附加功能。有82%的用戶使用手機拍照，其次才是收發短信。因此，拍照軟件和處理軟件的競爭最為激烈。隨著智能手機數量的增長，手機拍照將會是一個非常有熱度的研究方向。目前，大多數的拍照軟件都將目光鎖定在更優化的美化識別跟蹤上，缺少新意。而今隨著大眾對虛擬現實和3D技術應用的期待，虛擬體驗成為了大眾興趣度最高的、希望被應用于拍攝等現有軟件的一項技術。在現有的三維全景和跟蹤識別等技術已經非常成熟的基礎上，我們希望消除它們之間的隔閡，將其進行較好地融合，實現一種可以為拍攝對象改變其所處環境，并多角度展現虛擬環境的技術。

實現虛擬旅游，使用戶虛擬地存在于不同的景點，可以簡單地拍攝電影，將自己放入電影片段中，當一次主角。體驗多次元，來一次外太空旅行。通過將拍攝人的視角切換到不同角度來更換人物背景，給用戶帶來生活樂趣和全新的體驗。

1 更換視頻人物環境制作方法

1.1 前景檢測技術和圖像融合技術的優點

基于前景檢測技術和圖像融合來更換視頻人物所處環境的系統采用了Vibe算法和泊松融合算法，這樣不僅可以降低背景建模的復雜程度，而且當瞬時背景變化非常大時，需要做的只有放棄原始的模型，重新利用變化后的首幀圖像建立背景模型，無需手動摳圖選擇融合區域，選擇融合區域的過程簡單且方便。另外，還實現了對一般綠幕技術的提升，提出了一種改進的圖像視頻處理技術，主要包含三個方面：其一，無需使用特殊背景，通過計算機便可得到結果；其二，無需特定的技術支持，簡單易操作，非專業人員也可應用；其三，融合效果自然且逼真。

1.2 Vibe算法前景檢測技術

Vibe算法前景檢測技術為每個像素點存儲了一個樣本集，樣本集中地采樣值就是該像素點過去的像素值和其鄰居點的像素值，然后將每一個新的像素值和樣本集進行比較來判斷是否屬于背景點，進而實現運動物體檢測[1]。

該方法具有顯著的優勢：首先，在應對光照的變化和相機抖動等方面，其表現都十分穩定；其次，其計算量非常小，內存占用較少，使該方法能夠嵌入手持照相機中；再次，這種方式有優良的背景模型更新策略，可以隨機選擇需要替換的像素的樣本，隨機選擇鄰域像素進行更新。因此，在無法確定像素變化的模型時，它在一定程度上可以模擬像素變化的不確定性。

1.3 基于泊松方程的圖像編輯技術

基于泊松方程的圖像編輯技術通過求解ROI的梯度場Isrc以及背景圖像不被修改的像素區域的梯度場Idst，再根據Isrc+Idst得到整幅待重建圖像的梯度場，通過梯度場求解散度再求解通道方程獲得每個點的像素RGB值，實現兩幅圖像的無縫融合[2]。該方法具有顯著的優勢：首先，選擇融合區域的過程簡單且方便；其次，其融合效果自然，屬于目前融合效果上等的算法。

2 運動目標追蹤

2.1 運動目標追蹤技術

視頻處理領域中的運動目標追蹤主要是對傳感器采集到的視頻序列進行分析，提取場景中感興趣的運動目標，給對應于同一目標的像素區域分配相同的標記，在連續的圖像幀之間跟蹤各個標記目標的位置、輪廓、形狀、速度、紋理、顏色等特征信息的變化情況。傳統的目標追蹤一般包含四個部分：目標描述、特征提取、狀態估計以及特征匹配。[3]據根目標跟蹤方式的不同，目前已提出的追蹤算法大致可分為以下三類。

2.1.1 依賴于匹配的方法

依賴于匹配的運動目標追蹤算法中最具代表性的是Mean-shift算法。此算法利用核函數直方圖描述目標模板，然后在當前幀中通過迭代的方式，利用核函數的偏移來逐步更新和搜索模板，以實現準確匹配。

2.1.2 依賴于檢測的方法

依賴于檢測的算法中最具代表性的是Online boosting算法。在檢測過程中，一幀一幀的偏差造成的畫面漂移現象成為眾多算法需要解決的問題。

2.1.3 依賴于預測的方法

依賴于預測的算法中最具代表性的是基于稀疏表示的目標追蹤算法。該算法通過構造稀疏表示模型來計算粒子加權系數，這樣能有效抵抗遮擋，提高目標追蹤的精度。

2.2 運動目標追蹤技術的應用

將AR技術應用于手機拍照軟件當中，將原短視頻中的目標精確且快速地識別出來成為一大要點。識別目標，即追蹤動態目標，在一段視頻序列圖像中的每幅圖像中實時地找到感興趣的運動目標。目前，眾多AR應用、全景相機中都離不開相關算法。對追蹤目標的研究大致有兩個思路：（1）不依賴于先驗知識，即直接從圖像序列中檢測運動目標、識別并追蹤；（2）依賴于先驗知識，即為運動目標建模，然后進行匹配。

由于應用場景的復雜性和各種因素的干擾，目標跟蹤面臨著諸如光照、運動、姿態、遮擋等許多的難點問題[4]。目標和背景的靈活多變是造成目標跟蹤困難的根源。將其應用于手機拍照軟件中的難點主要有以下幾點：（1）背景復雜：在對目標進行追蹤時，往往目標的背景在隨時變化，這樣在進行追蹤時可能偏離目標；（2）目標變化：目標在短視頻中是連續變化的，因此，在長時間的追蹤下，目標可能受到光照、動作等的影響；（3）遮擋：目標在運動時可能會被其他物體全部或部分遮擋，這就為目標提取設置了難題；（4）計算的時效性：對目標進行實時的追蹤，算法需要快速地進行計算，否則追蹤的目標可能發生偏移。

2.3 手機軟件對于算法的要求

首先，將AR技術應用于手機軟件是一個進步，但將兩者結合也必然會遇到很多問題。傳統上，AR技術往往依靠硬件和芯片實現，所以，目前我們能夠看到的AR產品大多都是頭盔、眼鏡，先進一些的是眼鏡夾片。對于硬件的要求，傳統上跟手機硬件是差不多的，包括CPU、內存、電源管理、傳感器模塊、普通攝像頭和深度攝像頭。芯片上集成的算法是手機軟件應用AR技術的關鍵所在。

將AR技術中相關算法應用于手機APP當中，主要有以下幾點要求：（1）精確化。AR技術是利用人的視覺效果來欺騙大腦，手機在拍攝時要將現實中的目標放入期待的場景中，那么，在目標提取以及目標與場景融合時，就要盡可能地實現精確化，讓肉眼看不出拼接的破綻；（2）手機硬件支持；（3）速度快。手機拍攝完成后，需要馬上啟動程序，做到迅速地識別和提取目標，并快速與選定畫面融合。這是影響用戶體驗的重要因素。

3 Android系統中的圖像處理

3.1 Android中圖像處理面臨的問題

Android的應用層的類都是用Java寫的，Java以其跨平臺性和開源性已吸引了越來越多的開發者和使用者，越來越多的應用服務開發開始由C語言轉向Java這樣一種開源的跨平臺的語言，使用Java已經成為了一種主流的趨勢。但對于一些計算量大的算法實現而言，Java并不是最好的選擇，如本文探討的多媒體技術中的圖像處理。在圖像處理中常使用的opencv中的算法幾乎都存在C或C++實現的源代碼，并且其運行效率是得到了充分認證的。

Native Development Kit（NDK）是一種工具的集合。開發人員可以利用NDK提供的工具方便地使用C/C++的動態庫，并且還可以將so和java自動打包成apk。

通過分析得出，可以使用JNI NDK技術來搭建在android系統下使用opencv的圖像處理平臺，通過調用OpenCV的函數和方法來完成圖像的處理工作。

3.2 NDK開發優點

（1）由于項目開發需要調用C/C++里的一些內容，而對比Java發現，它無法訪問操作系統底層部分內容，只能通過NDK來實現軟件驅動開發，將由C/C++完成的功能代碼嵌入到Java中，實現代碼復用，以實現其功能。另外，對于音頻視頻的處理、文件壓縮和圖片處理等，利用NDK開發是很占優勢的。（2）NDK可以保證程序更加高效。通常C/C++開發的程序可以實現高性能的應用邏輯，因此，程序的執行效率也隨之提高，然而C/C++代碼在保證高效率的同時，也會增加程序開銷。（3）安全性的保證。在Android之前，程序都是運行在服務器上的，所以安全性的問題很少。在發布APP時會暴露很多缺陷，所以為了防止代碼被反編譯，可以使用NDK，將原始代碼運行時加密和封裝，以此來保證程序的安全性。（4）便于移植。C/C++編寫的程序或功能塊可以嵌套在Java里進行實現。

3.3 研究思路和方法

（1）從在線視頻中識別拍攝對象，將拍攝人物分割出來，在分割完成之后，對邊界附近的像素做后處理，以獲得較好的視覺效果（基于形態學的動態人體追蹤方法、二元分割、邊界模型、圖切割算法和標定技術）。（2）將人物放入背景中。將計算機生成的三維虛擬場景或目標視頻同真實人物無縫融合，從而改變人物所處的環境（利用圖像匹配、虛實圖像融合和三維注冊技術）。（3）實現多角度展現虛擬效果。檢測由鏡頭角度變換引起的背景的切變與漸變問題。視頻鏡頭的邊界檢測主要使用切變檢測法（自適應域值的選取，統計檢測法，基于慣性信息檢測法）和漸變檢測法（光流法，域值法，模型法）。（4）虛擬背景素材的實現。搭建3D全景，并構建數據庫（球面全景技術，3Dmax）。（5）獲取源數據，為用戶展示最終效果。手持顯示器顯示拍照效果（顯示技術）。

4 結 論

基于AR技術的手機拍攝軟件從當下圖片美化的牢籠中走出來，是綠幕技術的提升版。在不使用特殊背景的情況下，把人物從常規背景中分離出來，并與虛擬三維場景或其他視頻相融合，讓用戶通過簡單的操作體驗身處虛擬場景的樂趣。

本軟件開發思路邏輯嚴密，基于增強現實技術的手機拍照應用軟件進行開發，具有較高的可行性、實用性和研究價值。

參考文獻：

[1] 蘇.運動目標檢測之Vibe背景模型算法 [EB/OL].[2015- 11-17].https：//blog.csdn.net/lanxuecc/article/details/ 49886531.

[2] Hjimce. Seamless cloning泊松克隆 [EB/OL].[2015-05-14].http：//blog.csdn.net/hjimce/article/details/45716603.

[3] 康彬.面向智能監控的目標檢測、追蹤及圖像融合算法研究 [D].南京郵電大學，2015.

[4] 周維.視頻監控中運動目標發現與跟蹤算法的研究 [D].合肥：中國科學技術大學，2012.

作者簡介：朱晨璐（1997.10-），女，漢族，陜西渭南人，本科，計算機科學與技術專業。研究方向：計算機科學與技術。