基于網絡爬蟲、移動應用App等技術的城市建筑物調查與在線應用
——以貴陽市建筑物普查項目為例

佘佐明，申勇智，鐘寶，雷洋，宋劍虹

(貴陽市測繪院，貴州 貴陽 550000)

1 引 言

開展建筑物普查，全面、準確掌握城市內各建筑物的空間分布特征與基本信息，是建設“智慧城市”不可缺少的基礎性工作，是為國土空間規劃、城市建設和城市管理等領域性工作建立科學數據支撐的重要手段。為實現城市“精準規劃”的目標，貴陽市原城鄉規劃局制定了“規劃大數據”行動，2018年～2021年開展了貴陽市規劃管理區域現狀建筑普查工作，實現“摸清規劃數據家底，搞清規劃存量數據”。其工作思路與目標為：對貴陽市建成區現狀建筑物存量數據及相關聯的規劃管理審批檔案進行普查、梳理，全面摸清貴陽市規劃區建筑物信息情況，建立建筑物信息綜合數據庫，為下一步做好城市規劃工作，提供準確的查詢與分析的科學依據。

貴陽市特定的地理環境條件對建筑物信息普查也帶來了一些現實難題，通過合理的統籌協調和技術設計，高效、準確地獲取了建筑物基本信息，這里梳理項目中涉及的現實問題與技術路線，希望對于城市測繪地理信息部門或企業開展下一步的自然資源類調查監測項目，提供有價值的參考。

2 城市建筑物普查的內容與步驟

貴陽是貴州省省會，是一座具有亞高原地形特征的現代都市，其地貌可概括為“山中有城，城中有山，綠帶環繞，森林圍城，城在林中，林在城中”，屬于典型的山地城市。因此，城市建筑普查具有明顯的地域性特征，不同區域的建筑物在高度、朝向、疏密分布上存在明顯的差異，在新建城區范圍，建筑物分布規整、密度適中；老舊城區地形復雜，建筑物依山而建，密度高，多低矮建筑；偏遠地區建筑物密度較低，交通不便。這為調查工作獲取與處理帶來了復雜性與難度。

2.1 建筑物普查的內容

建筑物普查區域為貴陽市規劃管理區，范圍覆蓋貴陽市所轄的云巖區、南明區、白云區、觀山湖區、烏當區、經開區、花溪區北部，區域總面積約 2 163 km2，地勢起伏較大，南北高、中部低。預計永久性建筑物數量為40萬棟以上。

本次普查的具體內容是：在現有1∶500地形圖、規劃竣工測量數據、衛星影像、航空影像等數據資料的基礎上，通過梳理規劃設計成果資料、規劃審批檔案數據，實地調查、拍攝永久性建筑物現場照片等方法手段，完善和擴充單棟建筑物現狀的空間及屬性(13類)信息，建立普查數據庫及實時更新與瀏覽查詢系統，形成建筑物的現狀普查常態機制方法。具體要求包括如下幾個方面：

(1)更新周期。建筑物信息的更新周期為6個月，信息延遲應不超過6個月。

(2)建筑物基本屬性的完整性要求。建筑物應當包括建筑名稱、詳細地址、結構類型、使用期限、建造年代、建筑狀態、建筑層數、建筑高度、地下室及附屬設施、停車位數、基底面積、總建筑面積、建筑質量評價、外觀照片等。

(3)單棟建筑物的標識碼要求。貴陽市區域根據城市網格化管理的需要，由網格化服務管理指揮調度中心依據村居(社區)管轄范圍，制定一套網格管理單元的劃分體系。普查成果在應用時，單棟建筑物的唯一性標識碼應與該網格管理單元保持關聯性。

(4)單棟建筑物空間精度要求。建筑物位置、輪廓、部件結構等空間數據，達到 1∶2 000比例尺地形圖的精度要求。

2.2 普查單元的實施步驟

傳統的地理信息數據采集通過實地調查測量獲取數據，往往存在人員和時間成本過高、工作效率低下等問題。為了最大化地提高數據獲取效率，這里提出了融合多種技術方式的思路，一方面通過采用網絡爬蟲技術抓取互聯網中與貴陽市建筑物相關的信息數據資源，擴充數據來源渠道，最大限度地豐富本項目的數據源，減少外業調查次數。另一方面，研制手機端調查App，在部分外業調查上，手機端調查App也能最大化地減少單次調查的時間。普查的技術路線圖如圖1所示。

圖1 貴陽市建筑物普查技術路線

3 現有數據資料整理與預處理

3.1 科學劃分普查單元

對現有數據資料的整理，首先就是合理劃分普查單元，這也是后續成果推廣應用和動態更新的關鍵環節。這里最終確定普查單元的劃分技術原則為：與貴陽市網格管理單元保持一致，強調城市線狀地理要素(如道路、河流、圍墻)的邊界作用，普查單元不能切分建筑物，并保證普查單元內建筑物數量基本一致。每個普查單元分配唯一編號，并建立與貴陽市網格管理單元的聯系。

以貴陽市網格管理單元為依據，對每一棟建筑物進行了唯一編碼，編碼將伴隨建筑物的生命周期，建筑物不存在后編碼也將不再用于其他建筑物。為全市各委辦局以建筑物編碼作為關聯條件，將人口、法人、國民經濟等數據進行共享奠定基礎，此次普查的單元總數量為951個，劃分后單元的平均面積為 2.69 km2，其中最大單元為 23.29 km2，最小單元為 0.134 km2。

3.2 建筑物外輪廓初級實體化

建筑物外輪廓矢量數據是建筑物普查成果的空間化體現。這里提出了技術原則：在內業采集時根據影像分辨率用可識別的建筑間隔確定建筑物“對象個體”(幢)，對單幢建筑按照樓層數的不同作區塊劃分(幢編號相同)，城市建筑區分塔樓和裙樓，農村建筑不做區分，權屬、樓層數及用途等未知的信息預留待外業調查時補充。由于成本和效率的原因，建筑物外輪廓無法全部依靠外業實測來獲取，這里充分利用現有地形圖、衛星航空影像、規劃竣工、規劃設計、規劃審批檔案等成果資料，通過內業綜合提取構建。此外設計了一套建筑物外輪廓實體化構建的技術流程，通過基于影像、人工輔助的建筑物信息提取方法，自動生成了具有建筑物輪廓實體化初級成果，并盡可能在內業階段收集樓層、結構、用途等屬性信息。這些成果將作為進行外業調查后續工作的數據基礎與參考依據，其包含信息越豐富，外業調查的效率和準確性就越高。

4 基于網絡爬蟲技術的建筑物信息抓取

4.1 網絡爬蟲爬取數據原理

網絡爬蟲技術，可以讓研究人員通過設定需求條件，自動化地從互聯網中獲取研究者關心的數據內容，并將這些數據內容“爬取”下來進行一定程度的形式化、格式化整理，形成相關主題的數據資源。利用這些“爬取”下來作為數據源，可以進行更深層次的數據分析，挖掘出更多有價值的信息。網絡爬蟲技術的出現，最大化地減少了人工參與過程，一定程度上可代替人工訪問相關主題的網絡資源，并且，相比傳統人工操作效率更高。

4.2 建筑物信息爬取方法與數據成果

結合項目對速度和精度的要求，并且經常需要修改部分采集代碼，這里通過對比PHP、Java、C/C++、Python等幾種網絡爬蟲的程序語言，最終選取了采用Python語言編寫爬蟲，主要考慮Python語法優美、代碼簡潔、開發效率高、支持的模塊多，相關的HTTP請求模塊和HTML解析模塊非常豐富。還有強大的第三方工具庫爬蟲Scrapy，以及成熟高效的Scrapy-redis分布式策略，在調用其他功能接口時也相對方便。

利用爬蟲技術從互聯網中抓取與貴陽市建筑物相關的網絡數據，主要來源于互聯網地圖平臺，包括高德地圖、必應地圖中發布項目范圍內的POI(興趣點)數據、建筑輪廓數據等。POI興趣點具體屬性包括：名稱、地址、電話、分類(建筑用途)及坐標等信息；建筑輪廓數據提取使用深度學習算法，從高分影像中提取的建筑物邊界。實現步驟如下：

(1)將需要檢索的地理范圍，劃分為若干個矩形區域，比如可劃分成10行×10列=100個矩形區域，設每個矩形范圍為Ri(i=1，2，3，……100)；

(2)設定需要查找的信息類別S，利用Python程序開發語言，對單個矩形，將設定的矩形范圍Ri及信息類別S作為前置條件的進行信息查詢檢索；

(3)重復步驟2，遍歷完成后，可得到整個區域某一類別所有POI的屬性數據，如圖2所示；

圖2 互聯網爬取POI數據

(4)對于建筑輪廓數據的提取，使用必應地圖中的Maxar和Airbus各個年份的影像數據，通過人工智能學習算法，從高分辨率影像中提取建筑物邊界成果。

對獲得的最終成果進行測試，可滿足以下要求：POI數據的定位誤差絕在 10 m以內，可對應至每棟建筑。除精準的定位信息外，抓取的POI數據還有包含有建筑物上述名稱信息和地址信息的基本屬性外，還對應了“醫療”“文化傳媒”“房地產”“政府機構”“教育培訓”5個類別，部分數據還包括了較為翔實的地址信息。建筑物輪廓線無偏移，無切割線，可拉升成三維白模展示；輪廓線屬性中包含有建筑層數信息等。經抽樣檢查，網絡爬取的數據準確性符合要求，可用于建筑物基本屬性信息的完善豐富階段工作。

5 利用移動應用技術進行建筑物信息調查

“一站式采集與整理”的建筑物外業調查方式，一方面提高采集人員的在線作業便利性，減輕外業人員的建筑物信息采集的難度，另一方面在不增加外業調查工作時間的前提下，完成數據采集的同時也完成了后續的數據整理及結構化，提升工作效率、減少工作協同流轉的時間。隨著定位、攝像、傳感器與通信、計算芯片等硬件的性能提升，以及開源的GIS平臺與數據庫功能的擴展與強化，這些技術都可作為移動端應用的基礎支撐。這里研制了建筑信息采集外業調查App，從傳統的數據采集模式向新的移動采集模式進行遷移，進行建筑物名稱、詳細地址、結構類型、樓層信息、建筑物用途等相關屬性的采集、傳輸、處理與信息系統綜合管理。

5.1 移動應用業務邏輯與設計思路

貴陽市建筑物移動外業調查App設計的業務邏輯是：首先，對于上述工作階段完成的建筑物外輪廓實體化數據及部分屬性數據，以普查任務單元為單位，外業調查人員可以通過網絡在線訪問，通過符號、圖形、表格等多種方式，可以直觀地查找目標建筑物的信息的完善程度與準確性；其次，作業人員通過App的用戶界面，可以現場錄入建筑物信息，對建筑物外觀進行拍攝，實時編輯更新等，要求照片能夠充分反映建筑物的樓層信息、外觀全貌，將現場采集的信息建立圖形與表格、照片的關聯關系，最終形成圖、表、照片一一對應的數字化普查成果；之后，通過在線訪問方式云端推送到Web服務器、GIS服務器上，保存到共享數據庫。最后，對數據庫中采集后的建筑物數據，還可以進行分類展示和直觀表達，檢查與核實外業調查工作。

研制建筑物普查外業數據采集App的思路，是依據建筑物外業調查工作流程為基礎，以“云+端”的移動GIS開發模式，基于SOA架構的移動GIS開發通用平臺，結合5G移動網絡和GNSS導航定位及多種定位方式、流媒體等技術，在開放式移動操作系統上，建立了一套可實現在線地圖瀏覽、定位導航、空間信息采集、管理和分析能力的業務系統。建筑物普查App以面向對象服務的思路，體系架構由四個部分組成：移動終端部分、服務器部分、數據鏈路傳輸部分、數據庫部分，四個部分分別承載在應用層、服務層、通信層、數據層。

5.2 應用App研制中的關鍵技術

外業數據采集App在具體的研制實現過程中，基于ArcGIS Runtime SDK For Android的移動開發模式，在Eclipse平臺上使用“Java語言+XUtils開源框架”進行二次開發，在ArcGIS系列軟件下進行原始數據整理打包及底圖制作，并且發布相關服務構成原生及跨平臺的地圖應用基礎，實現離、在線一體化同步機制，從而提高實地普查的工作效率，本次普查擬使用移動終端進行現場信息的采集工作，主要功能包括外業導航定位、現場建筑物外觀拍照及基本信息采集。采用的關鍵技術如下：

(1)多類型傳感器數據采集與變換處理。移動應用中涉及GPS、運動姿態、環境、光照等傳感器。通過運用最佳拍攝焦距模型實現對焦，并對成果照片進行仿射變換，計算繪制矩形的頂角坐標并進行矩陣變換，實現對有照片的形變處理。

(2)基于數據的在線壓縮及流化的地圖要素服務。為實現網絡訪問要素的能力和顯示要素所需要的符號系統。通過網絡訪問在線電子地圖(使用geodatabase格式，適用于ArcGIS Runtime下全平臺支撐)，結合切片緩存數據結構、照片壓縮的技術，適當限制采集時拍攝照片的文件大小，對圖片像素較高的照片進行實時壓縮處理，減輕數據文件傳輸負擔。

(3)采用多種新型標準協議及第三方庫。在標準Active組件與Internt機制的基礎上，為保證用戶交互的高效性，管理控制不同的軟件生命周期，為應用程序運行中不同的組件消息傳遞設計實現算法模型。這里使用到的工具包括：ArcRuntimeSDKs，ArcGIS Runtime SDK For Android的移動開發包、ArcGIS Server、ArcGIS Online數據集、ArcGIS Engine等。

5.3 移動應用App功能及應用環境

主要功能包括：地圖瀏覽與圖層管理、地圖快速定位與地圖導航、建筑物自動對焦拍照、矢量編輯與屬性編輯、在線與離線數據同步、核查軌跡記錄與建筑物信息的輸出與輸入、空間分析與查詢、距離與面積量算。界面效果如圖3所示。設備運行環境及性能要求為：Android系統；具備GPS、北斗等衛星定位功能；具備500萬以上像素且自動快速對焦的拍照功能；電池續航時間要保證外業工作。有開源的ASOP(開源計劃)和需要Google授權使用的移動服務GMS。

圖3 建筑物普查App用戶界面

6 完成成果與在線應用

實踐中完成的建筑物普查成果，總計建筑物約45萬棟，照片80萬張。在內容上包含了建筑名稱、詳細地址、結構類型、使用期限、建造年代、建筑用途、建筑狀態、建筑層數、建筑高度、地下室及附屬設施、停車位數、基底面積、總建筑面積等建筑物基本信息，建筑物空間精度滿足 1∶2000地形圖精度要求。

建筑物普查的成果還可應用于城市管理領域，在后續階段，項目組依托生產成果研制了“貴陽市違法建筑物監測平臺”在線系統。違法建筑物監測平臺采用全新的“D2C”平臺，從數據生產到展示統一由“D2C”平臺提供。系統前端采用“Html+Css+JavaScript”技術框架，統一調用“D2C”平臺接口進行數據操作及展示；數據管理子系統為基于ArcGIS 10.2的JAVA接口開發實現。系統邏輯結構包括4個部分：

(1)基礎層。包括硬件設施、軟件設施和安全網絡設施，為平臺運行提供基礎支持。

(2)數據庫層。包括業務數據、空間數據，其中業務數據包括違法建設信息和違法用地信息；空間數據包括電子底圖、影像底圖、規劃數據、國土數據、違法圖斑數據等。數據通過加工入庫，最終形成空間數據庫。空間數據庫主要存儲空間數據。

(3)中間層。第三方的中間銜接工具，如ArcGIS Server等。

(4)應用層。分為數據管理、分析應用、公共應用、違章巡檢4個子系統。數據管理子系統基于ArcGIS平臺，數據庫采用Oracle，用來維護管理建筑物現狀信息、各時期的影像、專題數據。分析應用子系統用于統計、分析全市的土地利用、建筑物占比、綠地占比等信息。公共應用子系統供全市居民與其他單位查詢不涉密的違章建筑信息和其他信息。違章巡檢系統是移動應用程序，供執法人員通過智能移動設備巡查、核實建筑物違章詳細。

平臺首頁界面如圖4所示，平臺分為工具欄和信息展示區，工具欄包含整個平臺功能模塊的使用，信息展示區展示了分析以及統計的主要量化指標參數，地圖頁面則以列表的形式展示不同功能列表以及工具展示區，并提供搜索、下載等常用功能。

圖4 應用平臺首面界面

在現有成果基礎上，根據不同的應用場景和需求，按照體塊三維模型、簡單三維模型、精細三維模型的層次，對城市進行直觀地展現，既全面體現貴陽市建筑物的總體特征，又充分體現單體建筑的精細特點。相對于直接進行城市三維模型的建設，大大節約投資，提高了政務質量和效率。

7 結論與展望

針對貴陽市城區典型的山地城市的建筑分布的特征帶來的實地調查工作的一些難題，這里綜合運用了基于網絡爬蟲建筑物信息抓取、研制外業調查App等關鍵技術，結合普查單元的科學劃分、三維場景可視化等多方面技術，完成的45萬棟建筑物普查成果，包含了13類等建筑物基本屬性及多媒體信息，滿足了貴陽市建筑物普查的時間要求、信息完整度要求、數據精度要求，可為多部門各領域的應用提供支撐。此外，依據貴陽市網格管理單元對每棟建筑物進行統一的、唯一的編碼將伴隨建筑物的生命周期，作為建筑物“身份標識”，可為未來智慧城市等建設中人口、物流、經濟指標等數據信息共享關聯提供基礎支持。在獲得的數據成果基礎上，根據不同的應用場景和需求，按照3級精度的三維模型的層次，從貴陽市建筑物的總體特征，到單體建筑的精細特點，都實現了直觀地展現，為未來“虛擬城市”建設提供了方法基礎。

對于本項目形成的成果，下一步的研究方向是：通過按周期獲取的高分辨率航空航天遙感影像，通過幾何特征與紋理特征的變化，動態監測建筑物的變化情況，實現季度、月度的“動態增量更新”。此外，結合城市網格化管理工作機制，加強與網格管理人員之間的信息互換與共享，爭取及時獲取建筑物部分屬性的驗證、更新與確認，實現多部門、常態化、低成本的建筑物普查信息的動態更新機制。