頻繁市政工程建設背景下的地下管線GIS數據更新方法

解智強，王貴武，高忠，周海彬

(昆明市城市地下管線探測辦公室，云南昆明 650011)

頻繁市政工程建設背景下的地下管線GIS數據更新方法

解智強?，王貴武，高忠，周海彬

(昆明市城市地下管線探測辦公室，云南昆明 650011)

城市地下管線GIS數據庫建成后，即面臨數據應用－更新－維護－應用的反復循環的問題，特別是在城市快速建設與發展時期尤其如此，本文就昆明市滇池治理重點工程－城市地下雨污分流改造為代表，針對過程中對地下排水管線GIS數據的使用，尤其針對數據需求、數據采集、數據更新過程及地下管線GIS數據庫工作方式設計與運行，提出大工程背景下解決地下管線信息更新存在問題的若干技術方法。

城市地下管線GIS數據庫；排水管線雨污分流改造；數據更新

1 引 言

昆明市于2007年～2010年開展了城市地下排水管線普查探測工作，共完成昆明市主城區 330 km2的市政道路綜合管線 12 000 km，該數據資料已經通過驗收并入庫。同時，昆明市還開展了小區庭院排水管線的普查。目前，已完成大部分的外業管線探測工作，正轉入內業修改、完善及數據入庫前的準備階段。昆明市共完成城市地下管線20 000余千米的普查探測任務，其中探明昆明市主城區地下管線井位40萬余座、同時通過規范化的數據采集標準要求，以建設地理信息系統的方法統一將這些數據使用大型關系型數據庫Oracle 10G進行存儲和管理[1]。

隨著城市化建設進程的加快，特別是現代新昆明建設快速推進，大量道路與河道工程經過不斷地實施改造，使城市地下管線信息資源數據面臨著不斷更新完善的壓力。特別是2009年，昆明市實施了城市雨污分流改造等大型的市政工程以及一批重要地城市地下排水管線改造工程，使昆明市地下管線數據庫每天面臨大量數據進出的實際。這些工作對Oracle數據存儲方式和工作情況形成一定壓力，并對城市地下管線數據庫的更新與維護方法提出挑戰。因此，城市地下管線數據庫的管理、更新、維護的技術體系的制定及技術方法的使用對地下管線信息資源共享平臺的建設具有重要的作用[2]。

2 昆明市頻繁市政工程的開展及其對地下管線GIS數據的需求

昆明市城市市政工程建設對地下管線數據的需求十分明顯:①在工程項目的設計階段，大量的地下管線數據和背景地圖數據從數據庫中讀取出來，通過GIS軟件本身開發的數據讀取程序，將其轉換為圖形化通用的CAD格式數據，提供設計項目的可行性研究報告編寫以及項目設計實施。②在項目施工階段，地下管線資源數據通過其本身圖形及圖面信息標識成為指導施工建設的客觀依據，在項目的施工圖設計和項目的竣工圖編制過程中發揮著關鍵的作用。③在項目結尾階段，新的城市地下排水管線數據將通過竣工測量的方式采集并提交數據入庫管理，這需要新生產的地下管線GIS數據能夠按照《昆明市城市地下管線數據標準》嚴格地進行數據的采集、建設與管理，以滿足生產出來的數據能夠及時完成數據入庫與管理，以保證昆明市城市地下管線的現狀性應用[3]。

上述數據的頻繁進出對已經建成的地下管線數據庫形成了壓力，主要體現在:

①數據的進出不斷地改變著數據庫的字段的結構、內容以及表之間數據容量的大小，這一點對于數據庫設計而言，數據接納規則及更新機制的建設十分重要。

②新舊數據的接邊以及接邊后數據再規則化入庫的問題十分關鍵。

③需要考慮Oracle數據庫的優化問題以滿足用戶對數據庫性能水平要求不斷提升的考慮。

3 數據庫數據的動態更新流程設計與實現方法

地下管線數據更新流程的合理設計對數據的動態更新與實現至關重要，因此，在考慮城市地下管線信息資源數據入庫時，首先需要考慮城市地下管線的入庫方法和數據入庫的策略，因為這影響到數據出庫與入庫的效率，更重要的是，影響到數據庫的快速容納能力。

3.1 昆明市地下管線信息資源數據更新的現狀分析

昆明市城市地下管線數據由外業采集與管理－內業編輯及入庫前準備－數據入庫－數據庫內編輯、處理與分析等幾類項目構成。其中，考慮到數據來源的多樣化(昆明市城市地下管線探測數據的資料由多家測繪單位完成測量)，管線數據庫建設時考慮到了其更新問題的存在。因此，通過《昆明市城市地下管線探測技術規程》的技術文件規定，設置了管線數據文件的交換數據格式——MDB數據庫，通過對數據庫的字段及其數據錄入的統一填寫，約束了并規范了數據統一提交的格式[4，5]，這是將來數據庫更新與維護必須經過的關鍵環節(線表的設計如表1所示)。

管線線表設計重要字段列舉 表1

其次，昆明市城市地下管線探測數據建庫考慮了城市地下管線的服務范圍的廣泛性，因為數據的及時更新才能夠滿足城市市政建設的動態化及第一時間的工作需要。昆明市城市地下管線信息資源數據在動態更新之后面臨的新任務是:這些數據需要轉換為不同的數據格式，以滿足不同管線權屬單位的需要(如表2所示)，這同樣是昆明市地下管線信息資源數據輸出的一個重要的關鍵環節，也是數據輸出的基本要求。

部分管線數據用戶使用的數據格式及數據要求 表2

3.2 昆明市地下管線信息資源數據更新采用的策略及更新流程方案

(1)更新策略

昆明市城市地下管線資源數據采用標準的中間格式數據手段轉換更新，通過采用外業探測、更新后，室內整理后的數據是Access的MDB數據庫，使用轉換流程轉換到Oracle數據庫進行管理。根據系統昆明市城市地下管線信息系統實現的功能，昆明市城市地下管線數據更新如圖1所示。

圖1 昆明市城市地下管線數據更新技術路線

這種策略的使用至少有以下優點:

①通過中間數據交換格式mdb，在CAD開發的數據編輯子系統中進行編輯處理，本項功能多達43個地下管線數據檢查項目，將MDB數據中存在的數據問題得到有效處理。

②通過中間數據交換格式mdb，可以將一些數據中存在的問題在數據庫建設的初期就實現過濾，不將這些數據中存在的問題帶到數據庫中去。

③通過MDB數據庫，為與其他平臺的數據交換格式提供了中介平臺，避免其他用戶在獲取數據時，直接對數據庫操作，這滿足了昆明市城市地下管線信息資源數據庫的安全性要求。

經過處理后的數據，質量得到了充分保證之后，按照系統操作流程，昆明市城市地下管線信息系統根據更新數據的范圍、權屬、可以手動選擇更新范圍，也可以自動全庫更新，如圖2所示。

圖2 昆明市城市地下管線數據庫更新流程

(2)數據更新流程方案

管線更新測量工作的基礎資料依托于2007年、2008年的市政道路、庭院小區普查的成果資料，在成果資料的基礎上更新、修改、完善。根據管線數據更新策略及實際操作要求，設計出如圖3所示的更新流程。

上述流程針對任務化設計，實現了城市地下管線通過圖－庫一體化的方法實現數據的聯動，保證數據更新圍繞規劃工作得到實施。

圖3 數據流程方案

4 面對地下管線數據更新需求數據庫的優化措施

昆明市城市地下管線采用數據庫優化的方法實現地下管線數據進庫和出庫的數據質量做到最優，這一點對地下管線數據實時動態更新以及快速和高效地提供用戶使用十分重要，針對本問題，昆明市城市地下管線信息系統采用以下手段實現數據庫的優化工作:

4.1 系統架構配置優化

硬件是系統運行的基礎，架構是運行的保證，為確保系統正常高效的工作，昆明市城市地下管線信息系統采用合理的系統架構配置。系統架構配置如圖4所示，該數據架構的設置保障了數據的讀出、輸入僅通過數據和Oracle發生關系而和系統操作體系無關，以此保證數據得到及時、快捷的數據更新手段。

圖4 昆明市城市地下管線系統架構配置

4.2 地下管線數據庫優化設置

(1)管線數據表的優化設計

基于表驅動的信息管理的系統，數據表的設計規范是第三范式(3NF)。其最基本的特征是非主鍵的屬性只依賴于主鍵的屬性。基于第三范式的數據庫數據表設計具有如下的優點:

①消除了管線及附屬物、地形等的冗余數據，大大節省了磁盤存儲空間；

②良好的數據完整性限制，即基于主外鍵的參照完整限制和基于主鍵的實體完整性限制，使得管線數據容易維護，也容易導入、導出及更新；

③數據可逆性優秀，做連接(Join)查詢或合并表時不會遺漏、也不會重復；

④消除了冗余數據(冗余列)，在查詢(Select)時每個管線數據頁存的數據行就多，有效地減少了邏輯I/O，即每個Cash存的頁面就多，也減少物理I/O；

⑤該設計能滿足管線工程的需要，運行穩定、可靠。

(2)地下管線數據庫數據對象配置優化策略

數據庫數據對象優化策略是均勻地把管線、地形等數據分布在系統磁盤中，平衡I/O訪問，避免I/O瓶頸。具體辦法如下:

①訪問分散到不同的磁盤，充分利用現有的硬件設置，使管線數據跨越多個設備。多個I/O運轉，避免I/O競爭，克服訪問瓶頸，同時根據數據的被訪問幾率，分別放置隨機訪問和連續訪問數據。

②分離存儲系統數據庫I/O和應用數據庫I/O。同時系統審計表和臨時庫表存儲在剩余空間較大、訪問較少的磁盤。

③管線操作事務日志存放于單獨的磁盤，減少磁盤I/O開銷，還有利于在系統障礙后的恢復，提高管線系統的安全性、可靠性。

④根據表被訪問的幾率分別放置于不同的磁盤，即把頻繁訪問的“活性”表放在單獨的磁盤上；把頻繁用的表、頻繁做Join?作的表分別放在單獨的磁盤上，甚至把頻繁訪問的表的字段放在不同的磁盤上，把訪問分散到不同的磁盤上，避免I/O爭奪；

⑤利用段技術分離頻繁訪問的表及其索引(非聚族的)、分離文本及圖像數據。段技術的使用目的是平衡I/O，避免瓶頸，增加數據庫吞吐量，實現數據并行掃描，提高系統操作的并發度，最大化磁盤吞吐量。

(3)數據庫SQL的應用優化

①WHERE子句的應用

Oracle采用自下而上的順序解析WHERE子句，表之間的連接須寫在其他WHERE條件之前，其中過濾掉最大數量記錄的條件語句須寫在WHERE子句的末尾。

②SELECT子句中避免使用“?”

Oracle在解析的過程中，會將“?”依次轉換成所有的列名，此轉換過程是通過查詢數據字典完成的，將耗費更多的時間，為了有效提高工作效率，故盡量避免使用“?”。

SQL語句的優化使用能夠有效實現地下管線數據的快速讀取。

4.3 數據源輸出轉換手段

為保證數據庫系統的穩定及數據的安全，數據轉換等導入導出操作不在數據庫中進行，而是通過輸出中間轉換格式后，再使用轉換模塊轉換給其他軟件進行使用，這樣直接避免了對數據庫本身頻繁的數據操作造成系統的操作隱患。其具體流程如圖5、6所示。

圖5 昆明市城市地下管線導出流程圖

圖6 昆明市城市地下管線導入流程圖

5 應用實例

昆明市城市雨、污分流改造工程共涉及昆明市主城區60 km2內的新建雨、污水系統，該工程實施過程中大量新城市的地下庭院排水管線被生產出來，同時，隨著工作的開展，現有的和新建的城市地下排水管線都不可避免地發生著屬性的改變。

筆者使用超出一定區域數據取出的方法，將數據從數據庫中取出后，在AutoCAD開發的數據編輯平臺上進行數據的編輯與修改，通過技術規范的要求將數據進行的接邊(接邊可根據自主開發程序完成)，完成后，再整塊導入Oracle數據中進行管理，同時在Oracle數據庫中通過GIS要素拓撲跟蹤與編輯接邊功能實現新、老數據的無縫接邊，實現數據的無縫集成(流程詳如圖7、圖8所示)。

通過本文所描述的方法，筆者以指定范圍內的數據為實驗基礎，以小區為數據錄入單位，通過數據的出庫、入庫操作，解決了數據入庫過程中的屬性信息及圖形信息得到動態而同步的更新，同時，實現數據入庫的工作對數據庫本身造成的壓力適中，保證數據庫安全運行。

圖7 不同的顏色代表不同的排水管線屬性

圖8 排水管線數據更新過程中的接邊處理

6 結 語

隨著昆明市城市化進程的快速推進，每年有將近1 000 km的城市地下排水管線發生變化。2009年昆明市開展了城市雨、污地下排水管線的分流工作，過程中數據的進出直接考驗著昆明市城市地下管線信息資源數據庫，通過上述方法的實踐應用，筆者在實現了數據的靈活進出數據庫的同時，滿足了城市地下管線更新的需要。地下管線數據每天都在頻繁的提出更新需求，對于地下管線數據庫的管理存在一定的挑戰，根據昆明市的實際情況，筆者以為數據庫更新應當從數據錄入手段、硬件軟件優化技術、程序開發手段、數據交換等幾個方面著重解決問題。昆明市城市地下管線信息系統建設使用了上述手段后，有效地支持了城市地下管線數據的更新并提供使用[6]。

因此，昆明城市地下管線信息數據更新過程中，筆者認為下列環節十分重要:

①數據庫的定期維護與清理是城市地下管線數據庫動態維護的根本保證，因此，定期進行城市地下管線的動態更新維護十分關鍵；

②數據入庫前的預處理是一個關鍵的環節，利用管線采集軟件進行必要的數據進出處理；

③數據接邊過程是地下管線信息數據更新的關鍵環節，通過技術手段對新老數據進行接邊處理是昆明市城市地下管線現狀性持續保證的基礎；

④數據的交換程序的開發能夠滿足城市地下管線數據庫能夠快速、及時地將現狀信息成果在各部門進行推廣使用。

同時，筆者認為，城市地下管線信息資源數據在推廣使用過程中尚存在以下困難需要克服:

①隨著數據量的增長必須解決掉城市地下管線數據尺寸不斷膨脹帶來的數據效率的問題；

②必須進一步尋找出新老數據的屬性項結合問題，如地下管線的新舊物探點的編號實現；

③逐漸增加的用戶對數據需求的不斷增加所帶來的需要解決的技術問題，如地下管線數據的空間轉換模型的研究與開發。這些問題的有效解決才能夠促進城市地下管線信息系統更好地運行，以滿足地下管線信息動態快速更新的需要。

[1]區福邦.城市地下管線普查技術研究與應用[M].南京:東南大學出版社，1998

[2]洪立波.積極推進城市地下管線信息化建設[J].地下管線管理，2008(2)

[3]江貽芳，王勇.城市地下空間信息化建設探討[J].河南理工大學學報，2006，25(5)

[4]CJJ61－2003.城市地下管線探測技術規程[S].

[5]KGX2007.昆明市城市地下管線探測技術規程[S].

[6]王貴武，解智強，田金福.昆明市城市地下管線探測暨信息化建設工程論述[J].測繪通報，2009(6):58～61

Frequent Municipal Project Background Underground Pipeline GIS Data Updating Method

Xie ZhiQiang，Wang GuiWu，Gao Zhong，Zhou HaiBin
(Kunming City Underground Pipeline Detection Office，Kunming 650011，China)

When underground Pipeline GIS database is completed，it will face data applications－Update－maintenance－the application of repeated cycles，especially in the period of the rapid construction and development of the city，In this paper，key projects for the Dianchi Lake in Kunming－the city to transform the process of diverting rain pollution of underground drainage lines to use GIS data，especially for data needs，data collection，data updating process，and Underground Pipeline GIS database design and operation work，made a number of technology solutions to large underground pipeline engineering background update problem.

urban underground pipeline GIS database；stream of rain and sewage drainage line transformation；GIS data update

1672－8262(2010)05－78－05

P208

B

2010—08—19

解智強(1973—)，男，高級工程師，主要從事GIS及城市地下管線信息化工作。