終端設(shè)備的室內(nèi)外場(chǎng)景感知技術(shù)綜述

林 樹(shù)， 蘇素燕， 陳端云， 姜乃祺， 陳 俊， 林明睿

（1 國(guó)網(wǎng)福建省電力有限公司廈門(mén)供電公司， 福建 廈門(mén) 362400；2 國(guó)網(wǎng)福建電力有限公司， 福州 350001； 3 福州大學(xué)物理與信息工程學(xué)院， 福州 350108）

0 引 言

室內(nèi)外場(chǎng)景感知，即室內(nèi)外場(chǎng)景分類技術(shù)，該技術(shù)的根本任務(wù)是甄別終端所處的環(huán)境是室內(nèi)還是室外。 隨著技術(shù)的發(fā)展和需求的不斷增加，場(chǎng)景感知的類別也可隨著需求的改變而改變，以應(yīng)對(duì)復(fù)雜的終端工作場(chǎng)景，完成復(fù)雜的分類任務(wù)。

全球正在邁向萬(wàn)物互聯(lián)的時(shí)代，越來(lái)越多的終端設(shè)備應(yīng)用于日常生活、工業(yè)制造和醫(yī)療健康等領(lǐng)域，終端設(shè)備的數(shù)量和種類與日俱增，終端設(shè)備對(duì)場(chǎng)景感知技術(shù)的需求應(yīng)運(yùn)而生。 室內(nèi)外場(chǎng)景感知作為場(chǎng)景感知中的基礎(chǔ)任務(wù)，仍有較大研究的潛力。 由于GNSS 信號(hào)易受遮擋的特性，在室外環(huán)境可以直接使用GNSS 進(jìn)行定位，而在室內(nèi)場(chǎng)景則需要無(wú)線信號(hào)輔助定位。 因此，定位終端設(shè)備需要根據(jù)場(chǎng)景感知的結(jié)果，切換合適的定位方式，室內(nèi)外場(chǎng)景感知的準(zhǔn)確與否，會(huì)對(duì)終端設(shè)備的定位精度有直接的影響。 因此，室內(nèi)外場(chǎng)景感知技術(shù)具有廣闊的應(yīng)用前景和研究?jī)r(jià)值。 本文根據(jù)室內(nèi)外場(chǎng)景感知方法的不同數(shù)據(jù)采集介質(zhì)，將室內(nèi)外場(chǎng)景感知分為基于特定傳感器的室內(nèi)外場(chǎng)景感知方法、基于圖像信息的室內(nèi)外場(chǎng)景感知方法、基于泛在無(wú)線信號(hào)的室內(nèi)外場(chǎng)景感知方法，并依次對(duì)這3 類方法進(jìn)行研究分析。

1 基于特定傳感器的室內(nèi)外場(chǎng)景感知方法

特定傳感器是指可以部署在終端上，用于采集室內(nèi)外環(huán)境信息的傳感器，如光照傳感器、溫度傳感器、地磁傳感器等。 根據(jù)傳感器在室內(nèi)外不同場(chǎng)景的數(shù)據(jù)表現(xiàn)，結(jié)合閾值判別或分類算法，實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知。

Krumm 等人［1］使用溫度傳感器對(duì)所處環(huán)境進(jìn)行檢測(cè)，根據(jù)傳感器采集的溫度和實(shí)際天氣的溫度進(jìn)行比較，使用貝葉斯分類器完成場(chǎng)景分類。 這種方式需要定位信息的支持，以得到終端所處地理位置的天氣信息（即實(shí)際天氣溫度），輔助終端實(shí)現(xiàn)場(chǎng)景感知。 Sung 等人［2］利用揚(yáng)聲器發(fā)送線性調(diào)頻信號(hào)，同時(shí)使用聲音傳感器采集在環(huán)境內(nèi)反射的音頻，根據(jù)這一數(shù)據(jù)特征完成場(chǎng)景類別的判斷；也可以根據(jù)室內(nèi)外的光線特征，使用光傳感器，根據(jù)光照強(qiáng)度的閾值［3］對(duì)室內(nèi)外場(chǎng)景進(jìn)行分類。 在天氣狀況良好的白天，太陽(yáng)光的光照強(qiáng)度遠(yuǎn)大于室內(nèi)人造光強(qiáng)度，但由于復(fù)雜多變的天氣、晝夜變化，會(huì)對(duì)自然的光照強(qiáng)度有所影響，最終影響場(chǎng)景感知的精度。 由于單一傳感器往往無(wú)法應(yīng)對(duì)復(fù)雜的工作環(huán)境，因此為滿足更高的分類精度，研究人員設(shè)計(jì)出了諸多傳感器組合的方案。

如圖1 所示，Li 等人［4］設(shè)計(jì)的IODetector 輕量系統(tǒng)采用光傳感器、蜂窩模塊和磁傳感器的多傳感器組合方案。 由于建筑內(nèi)鋼筋、混凝土和各類電子設(shè)備的影響，測(cè)量的地磁數(shù)據(jù)和基站信號(hào)也會(huì)產(chǎn)生波動(dòng)，結(jié)合這一數(shù)據(jù)特征，根據(jù)置信度進(jìn)行場(chǎng)景感知。 而只依靠置信度難以合理運(yùn)用各個(gè)傳感器的檢測(cè)特點(diǎn)。 Radu 等人［3］針對(duì)IODetector 輕量系統(tǒng)進(jìn)行優(yōu)化，選用半監(jiān)督學(xué)習(xí)的co-training 方法對(duì)數(shù)據(jù)進(jìn)行處理。

圖1 IODetector 系統(tǒng)架構(gòu)Fig. 1 The IODetector system architecture

根據(jù)IODetector 輕量系統(tǒng)和以往技術(shù)對(duì)于光照處理的缺陷，Rhudy 等人［5］使用紫外線傳感器、光線傳感器和RGB 傳感器組合的方案，采集光線的組成成分，提升對(duì)光線信息的感知；章曉強(qiáng)等人［6］也提出了對(duì)光照強(qiáng)度動(dòng)態(tài)處理的方式，通過(guò)結(jié)合實(shí)際的時(shí)間和時(shí)區(qū)，獲得該地區(qū)的晝夜時(shí)間，并利用空氣濕度反映實(shí)時(shí)天氣，以此來(lái)調(diào)整對(duì)光照的處理策略。整個(gè)方案使用了光照傳感器、溫濕度傳感器和磁傳感器組合進(jìn)行室內(nèi)外場(chǎng)景感知，針對(duì)光照、溫濕度和地磁在室內(nèi)外場(chǎng)景中的數(shù)據(jù)特征不同，根據(jù)各算法的置信度進(jìn)行投票，并結(jié)合多元融合的無(wú)監(jiān)督機(jī)制，完成室內(nèi)外場(chǎng)景的分類。 該算法結(jié)合了各個(gè)傳感器的特點(diǎn)，利用投票機(jī)制對(duì)置信度進(jìn)行選擇，以應(yīng)對(duì)復(fù)雜的天氣環(huán)境。

阮錦佳等人［7］通過(guò)光照傳感器、磁傳感器、氣壓傳感器、加速度傳感器和陀螺儀，分別采集所處環(huán)境的光照信息、磁場(chǎng)變化強(qiáng)度和終端的運(yùn)動(dòng)狀態(tài)，利用SVM 多分類器分類。 這種方法的算法復(fù)雜度低，精準(zhǔn)度高，但部分傳感器主要關(guān)注于終端的運(yùn)動(dòng)狀態(tài)，限制了終端的普適性。 蔣超等人［8］同樣關(guān)注運(yùn)動(dòng)狀態(tài)，使用運(yùn)動(dòng)傳感器對(duì)終端的轉(zhuǎn)彎頻率和運(yùn)動(dòng)頻率進(jìn)行監(jiān)測(cè)，以此來(lái)判斷室內(nèi)外場(chǎng)景。

這種基于特定傳感器的方法，雖然可以滿足室內(nèi)外場(chǎng)景感知的基本需求，但需要在終端中部署額外的傳感器部件，用于檢測(cè)環(huán)境信息，對(duì)于終端功耗和輕量化的優(yōu)化是一個(gè)嚴(yán)峻的挑戰(zhàn)，在一定程度上限制了終端的廣泛應(yīng)用。

2 基于圖像信息的室內(nèi)外場(chǎng)景感知方法

場(chǎng)景識(shí)別不僅可以在終端上搭載特定傳感器，也可以通過(guò)在終端中搭載攝像頭，根據(jù)圖像進(jìn)行場(chǎng)景識(shí)別，將場(chǎng)景感知看作圖像分類問(wèn)題。 對(duì)于現(xiàn)有技術(shù)發(fā)展而言，圖像處理技術(shù)已相對(duì)成熟，圖像內(nèi)富含大量的信息。 圖像信息如圖2 所示，其中包括顏色、光線和紋理信息，圖片中含有的目標(biāo)物體信息，圖像區(qū)域空間的結(jié)構(gòu)信息等。 基于圖像信息的室內(nèi)外場(chǎng)景感知方法多樣，主要有基于圖像特征的方式、基于圖像語(yǔ)義信息的方式和基于深度學(xué)習(xí)的圖像處理方式。

圖2 圖像信息Fig. 2 Image information

2.1 基于圖像特征的場(chǎng)景感知

根據(jù)圖像特征（指圖像的客觀特征）可以對(duì)場(chǎng)景進(jìn)行劃分，其中包含圖像的顏色、紋理、圖形形狀等。 根據(jù)光傳感器的原理，對(duì)采集的圖像進(jìn)行光線分析，經(jīng)過(guò)研究發(fā)現(xiàn)，室內(nèi)和室外光線在色度上有很大差異，且對(duì)于照明色度，紅色和藍(lán)色色度之間有很強(qiáng)的線性關(guān)系，因此只對(duì)紅色色域進(jìn)行閾值判別［9］，便可以實(shí)現(xiàn)場(chǎng)景感知。

同時(shí)，也有研究團(tuán)隊(duì)分別根據(jù)圖像的顏色直方圖、圖像紋理進(jìn)行分類。 其中，根據(jù)紋理判斷能夠忽略不必要的場(chǎng)景細(xì)節(jié)，同時(shí)可以將RGB 顏色的圖像映射到不同的色彩空間之中，如HSV 顏色空間、Lab顏色信息，以提取更豐富的顏色特征。 Szummer 等人［10］對(duì)圖像顏色信息和圖像紋理信息進(jìn)行了整合，以克服單個(gè)參考數(shù)據(jù)準(zhǔn)確率不高的缺陷。 李錦烽等人［11］對(duì)圖像小波分解后，使用LBP 算子提取不同頻率下的圖像紋理。 同樣，與LBP 算子類似的圖像特征提取方法（如SIFT、HOG、Haar 等），也能夠應(yīng)用于場(chǎng)景感知之中，利用算子的特性，以提取圖像的顯著特征。

2.2 基于圖像語(yǔ)義信息的場(chǎng)景感知

圖像特征屬于圖像的淺層語(yǔ)義信息，實(shí)現(xiàn)場(chǎng)景感知也可以挖掘圖像的深層語(yǔ)義信息。 深層語(yǔ)義信息可以理解為與類別劃分的相關(guān)信息，不同于只能機(jī)器理解的圖像特征，深層語(yǔ)義信息可以被人類所理解。

Li 等人［12］根據(jù)物體的語(yǔ)義信息，判斷圖像的場(chǎng)景類別，利用Object Bank 表示圖像，再使用SVM 分類器進(jìn)行圖像分類。 這種依照物體檢測(cè)的方式，對(duì)于具有標(biāo)志性物體的場(chǎng)景分類效果更佳。 如：在特定場(chǎng)所會(huì)出現(xiàn)特定的物體，室內(nèi)場(chǎng)景的沙發(fā)、電視在一般情況下不會(huì)出現(xiàn)在室外，但是室內(nèi)室外場(chǎng)景下的物體種類復(fù)雜，針對(duì)室內(nèi)室外的場(chǎng)景感知缺乏可靠性。

圖像空間區(qū)域的語(yǔ)義信息同樣值得關(guān)注，Sadeghi 等人［13］提出的Latent Pyramidal Regions 通過(guò)區(qū)域檢測(cè)子表現(xiàn)特定區(qū)域的語(yǔ)義信息，同時(shí)關(guān)注場(chǎng)景的形狀和紋理信息，來(lái)解決目標(biāo)語(yǔ)義信息的局限性。 Juneja 等人［14］基于Bag of Words 提出的Bag of Parts 同樣關(guān)注空間區(qū)域的語(yǔ)義特征，對(duì)圖像進(jìn)行語(yǔ)義分割，保留顯著性區(qū)域，根據(jù)區(qū)域的結(jié)構(gòu)和特征，實(shí)現(xiàn)場(chǎng)景感知。

2.3 基于深度學(xué)習(xí)的場(chǎng)景感知

深度學(xué)習(xí)已在圖像分類任務(wù)上被廣泛應(yīng)用，場(chǎng)景分類作為圖像分類的一個(gè)分支，也引來(lái)一些學(xué)者的深入研究。 經(jīng)典的CNN 網(wǎng)絡(luò)已經(jīng)滿足基本的圖像分類任務(wù)，如使用ImageNet 數(shù)據(jù)，將卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練成ImageNet-CNN 網(wǎng)絡(luò)，實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知。 Zhou 等人［15］使用了更優(yōu)質(zhì)的場(chǎng)景Places 數(shù)據(jù)集，將CNN 網(wǎng)絡(luò)訓(xùn)練成了Places-CNN 網(wǎng)絡(luò)，并且闡述了數(shù)據(jù)集對(duì)于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的重要性，尤其注重?cái)?shù)據(jù)集的類別相關(guān)性和數(shù)據(jù)多樣性。 其中，無(wú)論是傳統(tǒng)的機(jī)器學(xué)習(xí)算法，還是新興的深度學(xué)習(xí)算法，數(shù)據(jù)集的質(zhì)量往往會(huì)直接影響到訓(xùn)練模型的好壞。

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)的不斷創(chuàng)新，AlexNet、VGG 和Resnet 等經(jīng)典圖像分類網(wǎng)絡(luò)結(jié)構(gòu)被應(yīng)用到室內(nèi)外場(chǎng)景感知領(lǐng)域。 不僅如此，如YOLO、R-CNN 等目標(biāo)檢測(cè)的經(jīng)典神經(jīng)網(wǎng)絡(luò)，以及FCN、U-Net 等語(yǔ)義分割的經(jīng)典神經(jīng)網(wǎng)絡(luò)，都能夠在室內(nèi)外場(chǎng)景感知領(lǐng)域提取到圖像中有效的場(chǎng)景信息，對(duì)圖像特征進(jìn)一步的剖析。

盡管深度學(xué)習(xí)具有分類精度高，學(xué)習(xí)能力強(qiáng)，適應(yīng)性好的特點(diǎn)，但是相較于一些傳統(tǒng)的檢測(cè)方式，深度學(xué)習(xí)對(duì)于硬件的要求較高，并且高度依賴大量數(shù)據(jù)支撐，對(duì)于算法的終端部署和實(shí)現(xiàn)等問(wèn)題亟待解決。 一些輕量型網(wǎng)絡(luò)架構(gòu)，如SqueezeNet、ShuffleNet等網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)輕量化終端的部署，是一個(gè)較好的解決方案。

3 基于泛在無(wú)線信號(hào)的室內(nèi)外場(chǎng)景感知

泛在無(wú)線信號(hào)是指廣泛分布于環(huán)境空間內(nèi)的無(wú)線信號(hào)，如GNSS 遠(yuǎn)程發(fā)送的定位信號(hào)、蜂窩基站的通信信號(hào)、室內(nèi)密布的WiFi 信號(hào)和藍(lán)牙信號(hào)等。 根據(jù)實(shí)驗(yàn)測(cè)量，多種泛在無(wú)線信號(hào)，在室內(nèi)室外環(huán)境下，都能保持較為穩(wěn)定的狀態(tài)，不會(huì)輕易受到自然環(huán)境變化的干擾，晝夜時(shí)間和溫差等因素，也不會(huì)使泛在無(wú)線信號(hào)產(chǎn)生太多波動(dòng)。 要使用泛在無(wú)線信號(hào)，可以通過(guò)信號(hào)接收器對(duì)泛在無(wú)線信號(hào)進(jìn)行采集，根據(jù)各類泛在無(wú)線信號(hào)在室內(nèi)外空間內(nèi)的傳播特性和分布特點(diǎn)，實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知的任務(wù)。

根據(jù)衛(wèi)星信號(hào)傳輸遠(yuǎn)距離、大衰落和高動(dòng)態(tài)等特點(diǎn)，同時(shí)根據(jù)泛在無(wú)線信號(hào)會(huì)受到建筑和電子器械的干擾，使信號(hào)出現(xiàn)折射、反射的特點(diǎn)，通過(guò)統(tǒng)計(jì)終端接收的衛(wèi)星信號(hào)個(gè)數(shù)和AP（無(wú)線訪問(wèn)節(jié)點(diǎn)）信號(hào)個(gè)數(shù)，即統(tǒng)計(jì)特定泛在信號(hào)個(gè)數(shù)（如WIFI 信號(hào)、UWB 信號(hào)或藍(lán)牙信號(hào)），進(jìn)行場(chǎng)景感知，根據(jù)信號(hào)個(gè)數(shù)的閾值進(jìn)行場(chǎng)景判定。 閾值需要通過(guò)先驗(yàn)知識(shí)進(jìn)行預(yù)先設(shè)定，不具備自學(xué)習(xí)的能力，無(wú)法實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知終端的廣泛適用。 胡旭科等人［16］對(duì)這個(gè)方案的閾值判定進(jìn)行了改進(jìn)和優(yōu)化。 為了避免室內(nèi)室外重疊區(qū)域和信號(hào)干擾，減少誤判發(fā)生的可能，采用alpha-count 機(jī)制，以穩(wěn)定終端對(duì)場(chǎng)景的判斷，減少微弱信號(hào)帶來(lái)的影響，避免頻繁進(jìn)行場(chǎng)景切換。

由于單純依靠接收泛在無(wú)線信號(hào)的數(shù)量進(jìn)行閾值判斷，缺乏對(duì)場(chǎng)景的普適性，蔣超等人［8］采用特定傳感器和泛在信號(hào)結(jié)合的思路，使用衛(wèi)星數(shù)目、運(yùn)動(dòng)姿態(tài)和光照強(qiáng)度進(jìn)行室內(nèi)外場(chǎng)景感知；Radu 等人［3］根據(jù)室內(nèi)場(chǎng)景中衛(wèi)星信號(hào)的個(gè)數(shù)、衛(wèi)星高度角和信噪比的數(shù)據(jù)特征，并結(jié)合傳感器采集的地磁數(shù)據(jù)和光照強(qiáng)度，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，以實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知；鄢松等人［17］通過(guò)實(shí)驗(yàn)對(duì)比，舍棄地磁數(shù)據(jù)，使用WIFI 信號(hào)、GNSS 信號(hào)和光照強(qiáng)度組合作為特征數(shù)據(jù)，通過(guò)AdaBoost 和PNN（概率神經(jīng)網(wǎng)絡(luò)）組合的分類算法，實(shí)現(xiàn)室內(nèi)外場(chǎng)景感知。

不僅可以將泛在無(wú)線信號(hào)的數(shù)量作為特征數(shù)據(jù)，信號(hào)質(zhì)量或信號(hào)強(qiáng)度也可以作為場(chǎng)景判斷的依據(jù)。 Gao 等人［18］基于GNSS 信號(hào)可用數(shù)量和信號(hào)強(qiáng)度，使用隱馬爾科夫模型，甄別室內(nèi)和室外環(huán)境；同樣的，alpha-count 機(jī)制也是根據(jù)信號(hào)強(qiáng)度作為判斷依據(jù)，只有當(dāng)信號(hào)強(qiáng)度達(dá)到閾值時(shí)，才能被認(rèn)定為是有效信號(hào)。 這種方式更深入的利用泛在無(wú)線信號(hào)的傳輸特性，有助于提升模型的準(zhǔn)確性和魯棒性。

由于實(shí)現(xiàn)場(chǎng)景感知的終端，可以同時(shí)接收到多種且多個(gè)泛在無(wú)線信號(hào)。 因此可將其整合為一個(gè)信號(hào)指紋，用于存儲(chǔ)所在位置的信號(hào)指紋信息。 通過(guò)大量采集信號(hào)指紋和場(chǎng)景信息一一對(duì)應(yīng)，建立信號(hào)指紋數(shù)據(jù)庫(kù)，用于存儲(chǔ)不同場(chǎng)景下的指紋信息。 在終端部署階段，當(dāng)終端處于新的場(chǎng)景下，通過(guò)采集指紋信息，利用已經(jīng)建好的信號(hào)指紋數(shù)據(jù)庫(kù)進(jìn)行對(duì)比匹配，或者使用近鄰算法、貝葉斯概率算法和機(jī)器學(xué)的分類算法，都能根據(jù)信號(hào)指紋數(shù)據(jù)庫(kù)進(jìn)行場(chǎng)景感知。

這種基于泛在無(wú)線信號(hào)的室內(nèi)外場(chǎng)景感知技術(shù)，可以只通過(guò)信號(hào)采集器，不需要多個(gè)傳感器或是高功耗的攝像頭就能完成大量的泛在無(wú)線信號(hào)采集，對(duì)場(chǎng)景信息有著豐富的感知，對(duì)于輕量化低功耗設(shè)計(jì)，提供了良好的設(shè)計(jì)思路。

4 結(jié)束語(yǔ)

本文針對(duì)定位終端設(shè)備在場(chǎng)景感知技術(shù)領(lǐng)域的發(fā)展現(xiàn)狀和前沿成果進(jìn)行論述，根據(jù)不同的數(shù)據(jù)采集介質(zhì)，分為基本的3 個(gè)場(chǎng)景感知方式。 對(duì)于不同的場(chǎng)景分類理念和技術(shù)方案，進(jìn)行了介紹和分析，對(duì)于簡(jiǎn)單的室內(nèi)外場(chǎng)景，已有多種技術(shù)方案可以勝任，對(duì)于各類復(fù)雜的場(chǎng)景環(huán)境，尚且還沒(méi)有一種算法可以達(dá)到令人滿意的程度，而且對(duì)于提升模型的魯棒性和場(chǎng)景感知模塊的輕量化設(shè)計(jì)，仍有較大的發(fā)展空間和研究潛力。