主數據管理及數據庫查詢優化在企業發展中的應用

【摘要】企業能否準確、高效獲得數據背后真正的信息以及預測信息帶來的市場動向，決定了企業未來的發展變化。主數據管理及數據庫查詢優化在生產管控中的應用能提高企業在生產環節中的信息獲取、分析效率，通過計算機輔助應用幫助獲得數據背后的信息，讓企業抓住市場動向，獲得先機，更有競爭力，讓企業真正地被掌控在正確的方向上以獲得更好的發展。

【關鍵詞】數據管理；SQLServer；系統；生產；市場；信息化

一、加快推進企業信息化，贏得競爭優勢

信息技術的迅猛發展，既為我國企業帶來發展的契機，又使我國企業面臨嚴峻的挑戰。未來社會是一個信息社會、網絡社會，誰在這場信息革命中領先一步，誰便能在未來的國際競爭中占據優勢。因為今天的競爭不再是規模經濟的競爭，而是速度經濟的競爭，只有實現企業信息化，才能快速響應市場，贏得競爭的主動權。

在高度信息化競爭市場的環境下，數據已經成為了企業的核心資產。大數據主要表現為四個特征：海量的數據規模、快速的數據流轉和動態的數據體系、多樣的數據類型和巨大的數據價值。通過對大數據進行處理和分析而發掘出來的價值，具有稀缺性和差異性，成為企業的一大競爭優勢。企業可以在產品研發、客戶關系管理、風險管理、供應鏈管理、決策支持等各方面進行挖掘分析，從而促進企業業務創新、提升用戶體驗、增強抗險能力、改進業務流程、提高決策效率。而數據治理正是大數據價值得以實現的必要途徑，大數據的核心價值體現不在于數據的數量大，而在于數據的質量高。

一般數據的采集與使用面臨著兩大問題：

（1）數據缺乏完整性和一致性，重復數據多。數據涵蓋企業經營管理的各個領域并不斷變化，但這些信息通常分散于各個業務系統進行管理，每個獨立系統中只存儲信息的片段，系統間彼此隔離，且數據創建與維護的流程各不相同，導致數據不具備完整性和一致性，系統內數據垃圾逐年增長，嚴重影響數據統計分析的準確率。正是由于構建在各種架構之上的孤立系統中的這種部門化數據，導致各級業務人員及管理者無法適時獲取企業級、全局性的統一業務視圖，企業管理缺乏規范協調，影響企業的整體健康發展。

（2）數據標準不統一，共享過程中不知以誰為“主”。隨著企業發展，數據量會呈爆炸性增長的態勢，但在信息系統建設過程中，多數信息分類標準化工作相對落后，難以有效的進行系統間的信息交換、共享、統計和分析，無法形成決策依據。各部門對信息的描述、分類和后續使用等工作，完全按照本部門的需要和習慣來進行，導致物料分類歸屬不清晰，業務數據不準確，后續體外操作無法進行，很難滿足企業現代化信息管理的要求。

以上問題的存在最終導致企業數據管理混亂，各層級、各部門人員在業務執行、管理和決策的過程中缺少有力的數據支撐，影響操作效率，降低企業的靈活性和創新速度。如：生產管理方面，企業在不能很好掌控產品細節管理，導致生產節奏與市場需求以及物流等環節不匹配，財務人員不能準確測算分析各產品的利潤水平；采購管理方面，企業各部門不能合并數據制定統一的合格供應商和產品清單，一方面，反復對供應商選擇和優化的支出成本居高不下，另一方面，無法實現集中采購，失去了在與供應商談判過程中的有利地位；決策管理方面，高層管理人員無法獲得企業經營管理的一致性信息，影響最終決策的準確性、創新性、前瞻性。

二、主數據管理提升企業數據質量

為解決上述現象，實現數據在整個企業范圍內保持一致性、完整性和正確性，就需要進行主數據管理（MDM——Master Data Management）。即：從企業的多個業務系統中整合最核心的、最需要共享的數據（主數據），集中進行數據的清洗和豐富，并且以服務的方式把統一的、完整的、準確的、具有權威性的主數據分發給全企業范圍內需要使用這些數據的操作型應用和分析型應用，包括各個業務系統、業務流程和決策支持系統等。

企業主數據用來描述企業核心業務實體，是在整個企業范圍內的各個操作型應用系統（OLTP）和分析型應用系統（OLAP）間需要共享的數據，也是企業內部能夠跨業務、跨系統重復使用的高價值的數據。例如：物資、供應商、客戶、財務、賬戶、員工、合作伙伴、組織單位等都是主數據。

主數據管理使得企業能夠集中化管理數據，在分散的系統間保證主數據的一致性，改進數據合規性、快速部署新應用、充分了解客戶、加速推出新產品的速度。主數據管理作為應用流程的補充，通過從各個操作型應用以及分析型應用中分離出主要的信息，使其成為一個集中的、獨立于企業中各種應用的核心資源，從而使得企業的核心信息得以重用并確保各個操作型應用以及分析型應用間的核心數據的一致性。通過主數據管理，強化了對企業各業務系統的共性數據實體的數據和模型管理，改變了原來系統數據、流程封閉的現狀，降低了應用孤島、數據孤島出現的幾率，增強了各系統在企業層面的互動，從而更好地優化企業業務流程，提升企業運轉效率。主數據管理可以降低接口成本、數據清洗和維護成本等。

三、主數據管理需要數據庫查詢優化支持

數據庫設計是從系統的需求出發，結合軟硬件相關要求，設計合理能否符合系統需要功能的數據的集合，如何設計高效合理的查詢語句在主數據管理中就顯得非常重要。

下面重點說明改善用戶查詢計劃的常用解決方案。

1.合理使用索引

索引是數據庫中重要的數據結構，它的根本目的就是為了提高查詢效率。現在大多數的數據庫產品都采用IBM最先提出的ISAM索引結構。索引的使用要恰到好處，其使用原則如下：

●在經常進行連接，但是沒有指定為外鍵的列上建立索引，而不經常連接的字段則由優化器自動生成索引。

●在頻繁進行排序或分組的列上建立索引。

●在條件表達式中經常用到的不同值較多的列上建立檢索，在不同值少的列上不要建立索引。比如在雇員表的“性別”列上只有“男”與“女”兩個不同值，因此就無必要建立索引。如果建立索引不但不會提高查詢效率，反而會嚴重降低更新速度。如果待排序的列有多個，可以在這些列上建立復合索引（compound index）。

2.避免或簡化排序

應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時，優化器就避免了排序的步驟。

3.消除對大型表行數據的順序存取

在嵌套查詢中，對表的順序存取對查詢效率可能產生致命的影響。比如采用順序存取策略，一個嵌套3層的查詢，如果每層都查詢1000行，那么這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。還可以使用并集來避免順序存取。

4.避免相關子查詢

一個列的標簽同時在主查詢和where子句中的查詢中出現，那么很可能當主查詢中的列值改變之后，子查詢必須重新查詢一次。查詢嵌套層次越多，效率越低，因此應當盡量避免子查詢。如果子查詢不可避免，那么要在子查詢中過濾掉盡可能多的行。

5.避免困難的正規表達式

LIKE關鍵字支持通配符匹配，技術上叫正規表達式。但這種匹配特別耗費時間。例如：SELECT*FROM customer WHERE zipcode LIKE“98___”

即使在zipcode字段上建立了索引，在這種情況下也還是采用順序掃描的方式。如果把語句改為SELECT*FROM customer WHERE zipcode>“98000”，在執行查詢時就會利用索引來查詢，顯然會大大提高速度。

6.使用臨時表加速查詢

把表的一個子集進行排序并創建臨時表，有時能加速查詢。它有助于避免多重排序操作，而且在其他方面還能簡化優化器的工作。

7.盡量不要使用or

使用or會引起全表掃描，將大大降低查詢效率。

8.字段提取要按照“需多少、提多少”的原則

避免“select *”，盡量使用“select字段1，字段2，字段3........”。實踐證明：每少提取一個字段，數據的提取速度就會有相應的提升。提升的速度還要看您舍棄的字段的大小來判斷

四、主數據管理結合數據庫查詢優化的建議方案

主數據管理的工具不止有MDM，還有BW、SCM、CRM等等，而眾多工具的準確高效使用，依賴于準確、快速提取的主數據管理支持。一般企業都會面臨信息化改革，也就會帶來垃圾數據對信息化系統的沖擊。如果置之不理，終究系統會變成“每天超負荷運轉的電子垃圾場”，數據清理和查詢優化就顯得尤為重要。一般可以由以下幾個方面入手：

1.針對數據基本信息進行進行中整合清理，借助MDM等SAP周邊系統將主數據號段進行規范限制，針對舊的字段、編碼進行比對對照，發現重復項進行映射管理，待業務處理完畢，將業務轉移至新的編碼物料中；

2.針對產品結構數據，不要重復引用使用，要建立新的產品體系，即使是復制整體結構。因為重復引用舊的產品結構會導致多產品使用一個結構，而只有細微的差別，但任何人都不敢去觸碰最原始的結構，那么主數據的錯誤也會一直保留并傳播到各個產品結構中去，這比平時的單個物料數據錯誤積累跟可怕。

3.在主數據管理優化的基礎上，加大制度標準輔助力度，因為沒有數據標準支持，制度管控，很難達到數據提報的準確性，即使是有類似MDM數據檢查體系存在，要在固化的申請管理流程中清理數據，保證了主數據的準確和高效才能很好地去支持未來技術或管理方案的實施。

4.管控的核心還是人員素質的管理，大部分的數據問題都是由于崗位調整或者業務素質不達標引起的疏漏，例如，新申請物料并不去查詢系統中是否有可用的已申請物料存在，或者申請錯誤物料后，不去進行修改，而是直接重新申請同種新的物料等等，要給員工培養危機意識，數據管理就好比是銀行管理資金，如果存入不斷貶值或即將消亡的價值體，那么最終可以回饋的必然是零或更少，而好的數據就像是貴重金屬等價值體，得到的是更多的反饋。

企業信息化的發展不是一朝一夕的事情，需要全員的配合，以及素質、制度、標準等支持，設計和構建高質量和用途廣泛的軟件工具來支持主數據管理是很有必要的。同時也需要領導層面的支持與關注，否則當數據危機發生，可能會導致企業發展的倒退。

參考文獻

[1]尚春明，李浩.建設企業信息化發展對策[J].建筑經濟，2002（01）.

[2]梁文斌.數據清洗技術的研究及其應用[D].蘇州：蘇州大學計算機應用技術，2005.

[3]周芝芬.基于數據倉庫的數據清洗方法研究[D].上海：東華大學計算機應用，2004.

[4]陳松.數據倉庫中的數據質量研究及數據清洗工具DataCleaner的設計[D]沈陽：東北大學計算機應用與技術，2003.