吳 勇1,2,羅騰元1,王美珍3
(1.福建師范大學(xué)地理科學(xué)學(xué)院,福州 350007;2.福建省陸地災(zāi)害監(jiān)測(cè)評(píng)估工程技術(shù)研究中心,福州 350007;3.南京師范大學(xué)虛擬地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室,南京 210046)
隨著空間信息技術(shù)快速發(fā)展,地理信息系統(tǒng)(Geography Information System,GIS)表達(dá)發(fā)生了巨大的變化并出現(xiàn)了許多新型表達(dá)形式,從二維電子地圖到虛擬地理環(huán)境,再到以圖像/視頻為主的地理增強(qiáng)現(xiàn)實(shí)及地理超媒體表達(dá)[1],圖像/視頻以其客觀形象、生動(dòng)直觀的特性已逐漸成為地理表達(dá)中一種重要的數(shù)據(jù)源。然而,隨著GIS應(yīng)用領(lǐng)域不斷擴(kuò)展,如在數(shù)字城管、環(huán)境監(jiān)查、智能快遞、野外調(diào)查等行業(yè)應(yīng)用中,對(duì)圖像的需求不再局限于其可視化表達(dá),更希望其能同時(shí)集成地理位置、內(nèi)容描述等更為豐富的信息[2]。同時(shí),以平板電腦、智能手機(jī)為代表的智能移動(dòng)終端呈現(xiàn)出爆炸式的增長(zhǎng),與普通相機(jī)相比,其拍攝圖像的分辨率、效果已相差不大,并具有以下優(yōu)勢(shì):(1)集成了豐富的傳感器,如GPS、電子羅盤(pán)等,除了能獲取地理位置外,還能獲取方位信息,圖像能夠獲取更為豐富的參數(shù)信息;(2)具有操作系統(tǒng)并支持編程接口,能夠方便定制更為靈活的應(yīng)用程序。
基于此,本文構(gòu)建可定位圖像表達(dá)模型,將圖像內(nèi)容、地理位置、圖像描述等信息進(jìn)行綜合集成,并基于Android平臺(tái)實(shí)現(xiàn)可定位圖像的實(shí)時(shí)采集;在此基礎(chǔ)上根據(jù)可定位圖像的位置特征,構(gòu)建圖像空間索引機(jī)制。

圖1 可定位圖像表達(dá)模型
圖像信息指被拍攝對(duì)象實(shí)體的實(shí)景信息;圖像元數(shù)據(jù)包括圖像分辨率、焦距、采集時(shí)間、曝光度等照片元數(shù)據(jù),用于描述圖像的基本信息,同時(shí)亦可利用參數(shù)信息推斷出圖像隱含的語(yǔ)義信息,如從焦距計(jì)算出圖像視野范圍,從曝光度推斷出拍攝地點(diǎn)處于室內(nèi)或者室外;圖像屬性信息可通過(guò)文本信息、特征信息以及音頻信息等進(jìn)行描述,文本信息指場(chǎng)景、事件或地點(diǎn)的文字描述,特征信息包括圖像的顏色、紋理、形狀等內(nèi)容特征,音頻信息則可記錄用戶(hù)對(duì)實(shí)體或事件的語(yǔ)音描述;圖像空間信息主要包括GPS位置信息與方位信息,GPS位置信息用于描述圖像的拍攝位置,而方位信息則能在拍攝位置的基礎(chǔ)上通過(guò)朝向更準(zhǔn)確地描述圖像場(chǎng)景。通過(guò)可定位圖像表達(dá)模型可詳細(xì)描述圖像呈現(xiàn)的內(nèi)容、拍攝時(shí)間、拍攝地點(diǎn)等信息,為應(yīng)用提供更為豐富的信息。
數(shù)字圖像與地理位置等參數(shù)集成主要基于XML文件[3]、Shapefile 文件[4]以及EXIF(Exchangeable Image File)[5]格式3種方式進(jìn)行組織。前2種方式本質(zhì)上都是采用中間文件將圖像與地理信息等屬性參數(shù)進(jìn)行關(guān)系映射實(shí)現(xiàn)外部關(guān)聯(lián)[6],信息的分離存儲(chǔ)導(dǎo)致其管理繁瑣,安全性、通用性、擴(kuò)展性都較差。
EXIF格式是由日本電子工業(yè)發(fā)展協(xié)會(huì)(Japan Electronic Industry Development Association,JEIDA)制訂,并專(zhuān)門(mén)為數(shù)碼相機(jī)使用的圖像文件格式而制定的標(biāo)準(zhǔn)規(guī)格,可以記錄數(shù)碼圖像的屬性信息和拍攝數(shù)據(jù)[7]。EXIF格式數(shù)據(jù)存儲(chǔ)與JPEG格式是完全相同的,本質(zhì)上就是在JPEG格式頭部插入圖像的信息,圖像結(jié)構(gòu)起始于圖像開(kāi)始標(biāo)志,終于圖像結(jié)束標(biāo)志,包含應(yīng)用標(biāo)記段、圖像壓縮編碼參數(shù)段以及圖像內(nèi)容數(shù)據(jù)段3個(gè)部分,如圖2所示。

圖2 EXIF圖像格式結(jié)構(gòu)
應(yīng)用標(biāo)記段中記錄的圖像參數(shù)信息采用標(biāo)簽圖像文件格式(Tagged Image File Format,TIFF)進(jìn)行存儲(chǔ),APP0用于使用JFIF(JPEG文件交換格式/JPEG File Interchange Format)格式存儲(chǔ)圖像時(shí)的配置信息數(shù)據(jù)與縮略圖,APP1標(biāo)記段則是EXIF格式用于避免JFIF存儲(chǔ)格式?jīng)_突而使用的標(biāo)記段,主要包含EXIF IFD,GPS IFD,Interoperability IFD 3個(gè)部分的圖像描述信息。EXIF IFD不僅存儲(chǔ)了數(shù)碼相機(jī)數(shù)據(jù)(數(shù)碼相機(jī)生產(chǎn)商、型號(hào)等)、攝影參數(shù)(快門(mén)速度、光圈數(shù)、焦距等)、日期和時(shí)間信息,還可以通過(guò)UserComment和Related SoundFile標(biāo)簽記錄用戶(hù)對(duì)圖像的文字描述信息及音頻描述信息;GPS IFD可記錄地理坐標(biāo)信息,包括經(jīng)緯度坐標(biāo)、GPS方位、速度等參數(shù);Interoperability IFD則用于存儲(chǔ)圖像互操作參數(shù);此外,EXIF格式還對(duì)APPN標(biāo)記段進(jìn)行了預(yù)留,用戶(hù)可根據(jù)具體需求進(jìn)行擴(kuò)展。相對(duì)于前2種方式,EXIF方式可將地理信息等屬性直接嵌入圖像,實(shí)現(xiàn)相關(guān)描述參數(shù)與圖像的高度整合,而且擴(kuò)展性和通用性較好,非常適合于可定位圖像的表達(dá)。
采用三星N7100手機(jī)設(shè)備為采集終端,以帶有Android開(kāi)發(fā)包插件(Android Development Toolkit,ADT))的Eclipse集成環(huán)境為開(kāi)發(fā)平臺(tái),通過(guò)Android SDK(Software Development Kit)分別調(diào)用相機(jī)模塊、電子羅盤(pán)模塊、GPS定位模塊以及百度地圖SDK實(shí)現(xiàn)各種相關(guān)信息的獲取,并采用EXIF格式進(jìn)行集成存儲(chǔ),實(shí)現(xiàn)可定位圖像的實(shí)時(shí)采集。具體步驟如圖3所示。
(1)創(chuàng)建請(qǐng)求圖像Intent,同時(shí)將Intent的類(lèi)型設(shè)置為MediaStore.ACTION_IMAGE_CAPTURE模式,利用start ActivityForResult()方法啟動(dòng)攝像頭進(jìn)行圖像采集,再通過(guò)onActivityResult()方法接收攝像頭返回的intent圖像數(shù)據(jù)。
(2)采用getSystemService()方法返回系統(tǒng)設(shè)備管理Sen sorManager,并使用registerListener()方法在設(shè)備管理服務(wù)中注冊(cè)電子羅盤(pán)監(jiān)聽(tīng)器,然后通過(guò)OnSensorChanged()事件獲得拍攝時(shí)的方位信息。
(3)通過(guò)getSystemService()方法調(diào)用位置服務(wù)Location Manager實(shí)例,并通過(guò)調(diào)用實(shí)例中g(shù)etLastKnownLocation()方法判斷是否能獲取GPS信息。如果接收到GPS信息,則提取拍攝時(shí)刻的經(jīng)緯度值,經(jīng)緯度值有正負(fù)之分,正數(shù)則代表當(dāng)前位置處于東半球/北半球,否則為西半球/南半球;如果當(dāng)時(shí)無(wú)法獲取GPS信息,用戶(hù)則可通過(guò)在地圖上手動(dòng)標(biāo)識(shí)圖像的當(dāng)前點(diǎn)位。
對(duì)比探究2和探究3不難發(fā)現(xiàn),兩次實(shí)驗(yàn)唯一不同的是,探究2的饅頭是用錫紙包裹的,而探究3的饅頭沒(méi)有用錫紙包裹,從而得出造成微波爐不能正常工作的是錫紙。可是,錫紙為什么能造成微波爐里出現(xiàn)火花呢?
(4)地圖初始化并創(chuàng)建引擎管理類(lèi)mapManager,接著使用LocationClient類(lèi)創(chuàng)建位置監(jiān)聽(tīng)器并進(jìn)行相關(guān)參數(shù)的初始化,然后通過(guò)getAddrStr()從接收到的位置信息中提取當(dāng)前位置的地址描述。
(5)通過(guò)調(diào)用ExifInterface接口中的setAttribute()方法對(duì)上述參數(shù)嵌入圖像中,并在SDCard上進(jìn)行圖像保存。

圖3 可定位圖像采集流程
為了驗(yàn)證可定位圖像采集方法的有效性及正確性,將上述實(shí)時(shí)采集的可定位圖像通過(guò)ExifInterface類(lèi)中g(shù)et Attribute()方法對(duì)圖像中存儲(chǔ)的經(jīng)緯度、方位、地址等信息進(jìn)行提取,并將獲取的位置信息在百度地圖上自動(dòng)進(jìn)行標(biāo)注,通過(guò)地圖標(biāo)注與實(shí)地對(duì)比發(fā)現(xiàn),拍攝位置由于GPS單點(diǎn)定位精度影響存在3 m~5 m的漂移外,方位角完全正確,可滿(mǎn)足采集需求,可定位圖像采集界面如圖4所示。圖4(a)的圖像采集界面中扇形圓心指示了當(dāng)前圖像的拍攝位置,扇形朝向代表了拍攝方向及視野范圍;同時(shí)用戶(hù)可通過(guò)點(diǎn)擊扇形標(biāo)注,獲取拍攝圖像、經(jīng)緯度值、方位值、時(shí)間以及相應(yīng)的地址描述,如圖4(b)圖像屬性界面所示。

圖4 可定位圖像采集終端界面
與普通圖像相比,可定位圖像不僅具有圖像特征,還具有位置特征及方位特征。而目前圖像檢索方式主要基于關(guān)鍵字索引,或者基于顏色、紋理、形狀等內(nèi)容特征索引。在基于位置特征圖像組織方面,文獻(xiàn)[8]利用時(shí)間和位置屬性對(duì)圖像集自動(dòng)聚類(lèi),并以“國(guó)家-州-市”行政區(qū)劃層次等級(jí)進(jìn)行組織;文獻(xiàn)[9]利用“人物-事件-地點(diǎn)-語(yǔ)義信息”的方式對(duì)圖像進(jìn)行分類(lèi)組織;文獻(xiàn)[10]則提出了地理參考的圖像場(chǎng)景層次模型,但是上述研究側(cè)重于將位置信息作為一種特征要素用于圖像聚類(lèi)方面,文獻(xiàn)[11]在微軟的WWMX項(xiàng)目中雖以地理坐標(biāo)進(jìn)行圖像索引,但是未考慮圖像方位特征。
可定位圖像實(shí)質(zhì)上可認(rèn)為是具有點(diǎn)狀空間特征的圖像,因此,可通過(guò)空間索引方式進(jìn)行圖像組織。在空間索引應(yīng)用方面,通常采用網(wǎng)格、四叉樹(shù)以及R樹(shù)3類(lèi)空間索引結(jié)構(gòu),不同的索引方式對(duì)同一類(lèi)型空間要素的索引效率差別甚大,而每種空間要素也對(duì)應(yīng)著其相應(yīng)最優(yōu)的索引方法,即對(duì)點(diǎn)目標(biāo)采用規(guī)則網(wǎng)格索引,對(duì)線(xiàn)、面目標(biāo)采用改進(jìn)的四叉樹(shù)索引[12]。可見(jiàn),可定位圖像的位置特征采用規(guī)則網(wǎng)格索引比較合適。
規(guī)則網(wǎng)格空間索引的基本思想是將空間數(shù)據(jù)區(qū)域按照一定固定大小的正交網(wǎng)格進(jìn)行劃分,對(duì)劃分后的網(wǎng)格按照相應(yīng)的網(wǎng)格劃分原則進(jìn)行定位,并將相交或者包含于網(wǎng)格內(nèi)的空間要素存儲(chǔ)在該網(wǎng)格中[13]。用戶(hù)則可通過(guò)計(jì)算查詢(xún)區(qū)域所在網(wǎng)格,快速檢索到網(wǎng)格中的空間要素。網(wǎng)格劃分遵循以下原則:

其中,[(minx,minY),(maxX,maxY)]為數(shù)據(jù)的坐標(biāo)范圍;m,n分別為指定橫軸、縱軸方向分割的網(wǎng)格數(shù);△w,△h則分別代表網(wǎng)格索引中橫軸、縱軸方向的每一個(gè)網(wǎng)格大小。
按照行從左至右、列從下至上的格網(wǎng)排列方式,計(jì)算每個(gè)格網(wǎng)的邊界坐標(biāo)公式為:

其中,Gridleft,Gridbottom,Gridright,Gridtop分別代表網(wǎng)格的左下角、右上角的經(jīng)緯度坐標(biāo);i,j分別為橫軸、縱軸網(wǎng)格編號(hào),且1≤i 在方位特征索引方面,采用方向劃分方法對(duì)方位值進(jìn)行聚類(lèi)索引,將其分成8個(gè)方向:北向(0°~22.5°,337.5°~360°)、東北向(22.5°~67.5°)、東向(67.5°~112.5°)、東南向(112.5°~157.5°)、 南向(157.5°~202.5°)、西南向(202.5°~247.5°)、西向(247.5°~292.5°)、西北向(292.5°~337.5°)。 針對(duì)可定位圖像位置特征索引,通過(guò)構(gòu)建空間分區(qū)、圖像索引以及圖像信息3張數(shù)據(jù)表對(duì)其進(jìn)行組織與管理。數(shù)據(jù)表間通過(guò)網(wǎng)格編號(hào)、圖像ID號(hào)2個(gè)關(guān)鍵字進(jìn)行關(guān)聯(lián),以維護(hù)表間的相互關(guān)系,表結(jié)構(gòu)如圖5所示。空間分區(qū)表用于描述可定位圖像的空間分區(qū)信息,其將檢索區(qū)域從邏輯上分割為許多更小、更易于管理的單元,主要記錄格網(wǎng)編號(hào)、格網(wǎng)左下角及右上角的橫坐標(biāo)、縱坐標(biāo)信息。圖像索引表包括圖像ID、圖像名稱(chēng)、所屬網(wǎng)格編號(hào)以及圖像路徑字段,其描述了可定位圖像在各個(gè)網(wǎng)格單元的分布狀況。通過(guò)建立網(wǎng)格編號(hào)排序索引,能快速定位圖像所屬網(wǎng)格,并返回查詢(xún)區(qū)域內(nèi)的圖像。圖像信息表記錄了可定位圖像的基礎(chǔ)參數(shù)信息,包括圖像分辨率、拍攝焦距、曝光度、采集時(shí)間、采集地點(diǎn)、經(jīng)緯度坐標(biāo)、方位值以及方位分類(lèi)等字段,通過(guò)此表用戶(hù)可查看圖像的屬性,同時(shí)可根據(jù)位置參數(shù)進(jìn)行地圖定位。 圖5 基于規(guī)則網(wǎng)格可定位圖像的索引結(jié)構(gòu) 在此基礎(chǔ)上,通過(guò)Visual Studio 2010平臺(tái)實(shí)現(xiàn)可定位圖像管理平臺(tái),提供空間查詢(xún)、時(shí)間查詢(xún)及地址查詢(xún)3種圖像檢索方式,界面如圖6所示。 圖6 可定位圖像檢索界面 對(duì)于空間檢索操作,用戶(hù)可以指定拍攝方位以及在百度地圖上設(shè)置檢索區(qū)域(圖中矩形區(qū)域)進(jìn)行圖像查詢(xún),系統(tǒng)返回滿(mǎn)足要求的圖像并以縮略圖形式在地圖下方區(qū)域進(jìn)行呈現(xiàn),用戶(hù)可以通過(guò)點(diǎn)擊縮略圖查看圖像及參數(shù)信息,同時(shí)在地圖上以扇形標(biāo)注顯示該圖像的拍攝位置與方位。 以福州主城區(qū)為例,按照2種不同網(wǎng)格大小對(duì)市區(qū)范圍進(jìn)行劃分:1 km×1 km網(wǎng)格劃分660個(gè)索引單位,5 km×5 km網(wǎng)格劃分為30個(gè)索引單元。在此基礎(chǔ)上,將市區(qū)內(nèi)采集到的968幅可定位圖像索引入庫(kù);由于實(shí)拍圖像數(shù)據(jù)集數(shù)量有限,為了更好地對(duì)索引方法效率進(jìn)行對(duì)比分析,實(shí)驗(yàn)同時(shí)模擬并建立了10000張可定位圖像數(shù)據(jù)集。針對(duì)上述2份數(shù)據(jù)集,基于IBM T420微機(jī)平臺(tái)(CPU Intel(R)Core(TM)i5-2410M雙核處理器,主頻2.3 GHz,可用內(nèi)存3 GB),采用網(wǎng)格索引與無(wú)索引方式,同時(shí)考慮檢索區(qū)域的大小對(duì)圖像數(shù)據(jù)集進(jìn)行圖像檢索,并從檢索結(jié)果、檢索效率方面進(jìn)行對(duì)比,比較結(jié)果如表1所示。 表1 網(wǎng)格索引與無(wú)索引方式檢索效率對(duì)比 從檢索結(jié)果上,基于網(wǎng)格索引與無(wú)索引方式檢索結(jié)果是一致的,因此,基于位置的圖像檢索能提供一種精確的目標(biāo)檢索;從檢索效率上,無(wú)論檢索區(qū)域還是數(shù)據(jù)集大小,總體上5 km網(wǎng)格索引方式最優(yōu),1 km網(wǎng)格索引方式次之,無(wú)索引方式最末。對(duì)于基于無(wú)索引的檢索方式,由于檢索需遍歷所有記錄,因此檢索時(shí)間大致是一致的,而基于網(wǎng)格的索引方式,對(duì)于較小的檢索區(qū)域,由于采用位置索引方式大大減少了記錄遍歷次數(shù),檢索效率大幅提升;對(duì)于較大的檢索區(qū)域,例如對(duì)于小數(shù)據(jù)集(968幅),檢索區(qū)域?yàn)?1 km2,相當(dāng)于區(qū)域索引范圍的1/10面積大小,采用1 km網(wǎng)格索引方式與無(wú)索引方式的檢索效率相當(dāng),索引并沒(méi)有達(dá)到提升檢索效率的目的,究其原因有以下2點(diǎn):(1)數(shù)據(jù)集圖像樣本太少,索引不能體現(xiàn)其優(yōu)勢(shì),(2)由于檢索范圍較大,而網(wǎng)格索引劃分太細(xì),使得檢索過(guò)程中對(duì)于網(wǎng)格相交判斷耗時(shí)較長(zhǎng),從而影響了檢索效率;其次基于不同大小的網(wǎng)格索引,其檢索效率不同,網(wǎng)格的劃分需考慮區(qū)域范圍、應(yīng)用目的等多方面的因素尋求最優(yōu)的網(wǎng)格劃分方案。綜上所述,可定位圖像采用網(wǎng)格索引方式是可行的,適合大小的網(wǎng)格索引能大幅提升圖像的檢索效率。 本文提出了集圖像內(nèi)容、圖像元數(shù)據(jù)、位置特征以及描述信息于一體的可定位圖像表達(dá)模型。在此基礎(chǔ)上,通過(guò)Android平臺(tái)實(shí)現(xiàn)圖像信息、方位信息、定位信息以及地址描述等要素的實(shí)時(shí)獲取,并以EXIF圖像格式對(duì)上述獲取的參數(shù)進(jìn)行組織存儲(chǔ)形成可定位圖像;針對(duì)可定位圖像具有位置特征以及方位特征的特性,采用規(guī)則網(wǎng)格對(duì)其位置特征構(gòu)建空間索引,同時(shí)按方向?qū)Ψ轿惶卣鬟M(jìn)行聚類(lèi)索引,并對(duì)福州市區(qū)范圍內(nèi)采集的可定位圖像進(jìn)行檢索實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果證明基于位置的圖像空間索引方法是可行的,能快速檢索到圖像。可定位圖像不僅豐富了GIS對(duì)地理對(duì)象的表達(dá)及數(shù)據(jù)采集方式,同時(shí)也為數(shù)字城管、環(huán)境監(jiān)查、智能快遞、野外考察等行業(yè)提供了應(yīng)用參考價(jià)值。此外,音頻作為一種重要的描述信息尚未集成到可定位圖像中,將在下一步工作中進(jìn)行完善。 [1]韓志剛,孔云峰,秦耀辰.地理表達(dá)研究進(jìn)展[J].地理科學(xué)進(jìn)展,2011,30(2):141-146. [2]劉向峰,孟志軍,陳竟平.作物病蟲(chóng)害信息采集與遠(yuǎn)程診斷系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2011,32(7):2361-2363,2408. [3]宋宏權(quán),劉學(xué)軍,閭國(guó)年,等.基于視頻的地理場(chǎng)景增強(qiáng)表達(dá)研究[J].地理與地理信息科學(xué),2012,28(5):6-9. [4]Liu Qiang,Yoo J J,Choi K H,et al.A Scalable Video GIS System for GPS-guided Vehicles[C]//Proc. of IEEE International Conference on Acoustics,Speech,and Signal Processing.[S.l.]:IEEE Press,2004:941-944. [5]武文波,劉向鋒.GIS中數(shù)字圖像與地理位置的整合方法與應(yīng)用[J].微計(jì)算機(jī)信息,2011,27(4):235-237. [6]李文闖,章永平,潘瑜春.移動(dòng)地理信息系統(tǒng)中多源異構(gòu)數(shù)據(jù)融合模型[J].計(jì)算機(jī)應(yīng)用,2012,32(9):2672-2674,2678. [7]Japan Electronics and Information Technology Industries Association.JEITA CP-3451-2002 Exchangeable Image File Format for Digital Still Cameras:Exif Version 2.2[S].2002. [8]Naaman M,Song Y J,Paepcke A,et al.Automatic Organization for Digital Photographs with Geographic Coordinates[C]//Proc.of the Joint ACM/IEEE Conference on Digital libraries.New York,USA:IEEE Press,2004:53-62. [9]Yekkala A K,Volleberg G T G,Saha S.Automatic Organization of Digital Photographs[C]//Proc.of International Conference on Consumer Electronics.Las Vegas,USA:[s.n.],2007:1-2. [10]Epshtein B,Ofek E,Wexler Y,et al.Hierarchical Photo Organization Using Geo-relevance[C]//Proc.of the15th International Symposium on Advances in Geographic Information Systems.New York,USA:[s.n.],2007:1-7. [11]Toyama K,Logan R,Roseway A.Geographic Location Tags on Digital Images[C]//Proc.of the 11th ACM International Conference on Multimedia.New York,USA:[s.n.],2003:156-166. [12]馬亞明,徐 楊,張江水.空間索引與多尺度表達(dá)的一體化模型研究[J].武漢大學(xué)學(xué)報(bào)信息科學(xué)版,2008,33(12):1237-1241. [13]孟妮娜,周校東.固定格網(wǎng)劃分的空間索引的實(shí)現(xiàn)技術(shù)[J].北京測(cè)繪,2003,(1):7-11.3.2 基于位置的圖像檢索實(shí)現(xiàn)


4 實(shí)驗(yàn)分析

5 結(jié)束語(yǔ)