智能報表數據存儲優化

柳美 李夏光 李曉陽

（國能數智科技開發（北京）有限公司 北京市 100001）

1 背景

為了智能報表能夠更好、更穩定地運行，集團決定對智能報表存儲方面做出提升，使得報表系統能夠更好地支持集團的報表工作。存儲設備往往連接多個系統，因此，必須保護每個系統的數據，防止其他系統未經權限而訪問數據，或著破壞數據。防止集團數據內部和外部數據的安全性問題，也是集團數據存儲的重中之重。

2 智能報表存儲優化

2.1 數據庫慢

智能報表最常用的兩種功能是數據填寫和數據查詢，無論是關系型數據庫還是NoSql，任何存儲系統決定于其添加、查詢性能的主要有三種：查詢時間復雜度、數據大小、高負載。

2.1.1 查詢復雜度

數據查詢受時間復雜度和空間復雜度影響。

（1）時間復雜度。在計算機科學中，算法的時間復雜度是一個函數，它定量描述了該算法的運行時間。一個算法執行所耗費的時間理論上來說是算不出來的，因為它不僅僅與編寫的算法有關，還與運行這個算法的機器有關系，計算機很好，那么所耗費的時間就可能會更少，因此，一個算法耗費的時間是需要放在機器上實際測驗才能知道的。一個算法所花費的時間與其中語句的執行次數成正比例，算法中的基本操作的執行次數，為算法的時間復雜度。簡單來說，時間復雜度就是一個程序運行所消耗的時間，叫做時間復雜度。

（2）空間復雜度。對一個算法在運行過程中臨時占用存儲空間大小的量度。空間復雜度不是程序占用了多少bytes 的空間，因為這個也沒太大意義，空間復雜度算的是變量的個數。空間復雜度計算規則基本跟實踐復雜度類似。簡單來說，空間復雜度就是程序運行所需要的時間。

2.1.2 數據存儲量

智能報表為多個系統提供技術服務支持，因此數據存儲量比較龐大，選用適合的數據庫也是至關重要的，數據庫通常分為層次式數據庫、網絡式數據庫和關系式數據庫三種。而不同的數據庫是按不同的數據結構來聯系和組織的。而在當今的互聯網中，最常見的數據庫模型主要分為兩種，即關系型數據庫和非關系型數據庫。

（1）關系新數據庫。關系型數據庫模型是把復雜的數據結構歸結為簡單的二元關系（即二維表格形式），表之間的聯系通過不同表中的公共字段來體現。即一個關系型數據庫是由二維表及其之間的關系組成的一個數據組織。在關系型數據庫中，對數據的操作幾乎全部建立在一個或多個關系表格上，通過對這些關聯的表格分類、合并、連接或選取等運算來實現數據庫的管理。

①關系型數據庫的特性。

1.系型數據庫，是指采用了關系模型來組織數據的數據庫；

2.關系型數據庫的最大特點就是事務的一致性；

3.簡單來說，關系模型指的就是二維表格模型，而一個關系型數據庫就是由二維表及其之間的聯系所組成的一個數據組織。

②關系型數據庫的優點。

1.容易理解：二維表結構是非常貼近邏輯世界一個概念，關系模型相對網狀、層次等其他模型來說更容易理解；

2.使用方便：通用的SQL 語言使得操作關系型數據庫非常方便；

3.易于維護：豐富的完整性(實體完整性、參照完整性和用戶定義的完整性)大大減低了數據冗余和數據不一致的概率；

4.支持SQL，可用于復雜的查詢。

③關系型數據庫的缺點。

1.為了維護一致性所付出的巨大代價就是其讀寫性能比較差；

2.固定的表結構；

3.高并發讀寫需求；

4.海量數據的高效率讀寫；

（2）非關系新數據庫。非關系型數據庫，也稱NoSQL 數據庫，采用不同于關系數據“行列”組織的數據模型，可以混合支持多種數據類型。對比關系型數據庫，NoSQL 數據庫采用更簡單的設計方式，更靈活的數據模型，在設計上有著更好的擴展能力，這使得NoSQL 數據庫能更有效地應對數據負載超過單個服務器承載能力的應用場景。

NoSQL 數據庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，特別是大數據應用難題。

①非關系型數據庫的特性。

1.使用鍵值對存儲數據；

2.分布式；

3.一般不支持ACID 特性；

4.非關系型數據庫嚴格上不是一種數據庫，應該是一種數據結構化存儲方法的集合。

②非關系型數據庫的優點。

1.無需經過sql 層的解析，讀寫性能很高；

2.基于鍵值對，數據沒有耦合性，容易擴展；

3.存儲數據的格式：nosql 的存儲格式是key,value形式、文檔形式、圖片形式等等，文檔形式、圖片形式等等，而關系型數據庫則只支持基礎類型。

③非關系型數據庫的缺點。

1.不提供sql 支持，學習和使用成本較高；

2.無事務處理，附加功能bi 和報表等支持也不好；

無論是哪種存儲，數據量越少，自然查詢性能就越高，隨著數據量增多，資源的消耗、磁盤讀寫繁忙）、耗時也會越來越高。

原有的智能報表數據是存儲于NoSql 數據庫的。現對數據存儲做優化，對存儲數據進行數據歸檔，將數據遷移到關系型數據庫，通過數據庫作業把非熱點數據遷移到歷史表，新增業務入口路由到對應的歷史表（庫）。從關系型數據庫角度出發，索引結構基本固定是B+Tree，時間復雜度是O(log n)，存儲結構是行式存儲。因此可對關系數據庫優化。關系型數據庫是按照結構化的方法存儲數據，每個數據表都必須先定義好表的結構，再根據表的結構存入數據，這樣整個數據表的可靠性和穩定性都比較高。

（3）歷史數據遷移。歷史數據遷移就是采用什么方法第數據進行遷移，數據遷移主要策略有先錄后遷，單個遷移，批量遷移。根據不同報表類型，在不同頁面下配置報表數據結構。存儲至關系型數據庫的報表的范圍可以配置，主要指通過配置可以控制哪些報表可以往關系型數據庫存儲。可以通過報表模板單獨配置報表，也可以通過配置文件批量全部配置報表。同一份數據存儲在兩個數據庫中。這樣一份兩存對數據的存儲也有一定的保障作用。

先錄后遷；報表數據先錄入到NoSql 數據庫，再通過需要將數據遷移至關系型數據庫。先錄后遷只要針對的是新舊數據結構存儲在特定差異的差異的情況，

單個遷移：根據需要將需要遷移的報表數據進行一張報表的數據遷移，單表遷移的優點在于遷移實施的過程段，相對批量遷移，遷移涉及的問題少，相對風險比較低，其缺點就是故宮工作強度比較大，如果遷移的數據量較大，工作人員會很疲勞。

批量遷移：根據需要將需要遷移的報表數據進行多張報表的數據遷移，批量遷移可以將任務分開，有效地解決了數據量大和宕機時間段之間的矛盾，但是批量遷移會增加出錯的概率，

因此，在進行報表遷移時選擇適合的遷移方法即可。

2.1.3 高負載

高負載造成原因有高并發請求、復雜查詢等，導致CPU、磁盤繁忙等，而服務器資源不足則會導致慢查詢等問題。該類型問題會選擇集群、數據冗余的方式分擔壓力。

2.2 數據存儲優化的層面

自頂向下的一共有四層，分別是硬件、存儲系統、存儲結構、具體實現。

層與層之間是緊密聯系的，每一層的上層是該層的載體；因此越往頂層越能決定性能的上限，同時優化的成本也相對會比較高，性價比也隨之越低。

以最底層的具體實現為例，索引的優化的成本應該是最小的，可以說加了索引后無論是CPU 消耗還是響應時間都是立竿見影降低。一個簡單的語句，無論如何優化加索引也是有局限的，當在具體實現這層沒有任何優化空間的時候就得往上一層【存儲結構】，【存儲結構】是否從物理表設計的層面出發優化（如分庫分表、壓縮數據量等），如果是文檔型數據庫得思考下文檔聚合的結果。

如果在存儲結構這層優化得沒效果，得繼續往再上一次進行考慮，是不是關系型數據庫不適合用在現在的業務場景？如果要換存儲，那么得換一個適用于業務的NoSQL。最后則考慮優化硬件，而優化硬件成本是最高的，因此，優化著先考慮優化sql 索引、存儲結構、存儲系統。

2.3 數據存儲的安全性

2.3.1 加密

在智能報表數據存儲項目中，加密是保證數據安全和系統安全的一種有效手段。數據加密技術可分為數據傳輸加密技術、數據存儲加密技術。

數據傳輸加密技術的目的是對傳輸中的數據流加密，通常有線路加密與端—端加密兩種。線路加密側重在線路上而不考慮信源與信宿，是對保密信息通過各線路采用不同的加密密鑰提供安全保護。端—端加密指信息由發送端自動加密，并且由TCP/IP 進行數據包封裝，然后作為不可閱讀和不可識別的數據穿過互聯網，當這些信息到達目的地，將被自動重組、解密，而成為可讀的數據。

數據存儲加密技術的目的是防止在存儲環節上的數據失密，數據存儲加密技術可分為密文存儲和存取控制兩種。前者一般是通過加密算法轉換、附加密碼、加密模塊等方法實現；后者則是對用戶資格、權限加以審查和限制，防止非法用戶存取數據或合法用戶越權存取數據。

2.3.2 授權

智能報表為多個系統提供服務，權限對數存儲有著至關重要的作用，是所有安全防范和保護的主要策略之一，授權可以從登錄控制和權限控制兩個層面進行保護，主體依據是某些控制策略或權限對客體或其資源進行的不同授權訪問，限制對關鍵資源的訪問，防止非法用戶進入系統及合法用戶對資源的非法使用。

登錄訪問控制。登錄訪問控制為網絡訪問提供了第一層訪問控制它主要控制哪些用戶能夠登錄到網絡存儲系統并獲取存儲資源。

訪問權限控制。將能夠訪問網絡的合法用戶劃分為不同的用戶組，每個用戶組被賦予一定的權限。用戶對存儲資源的訪問權限可以用訪問控制表來描述。它的主要特征是可以保證系統的所有資源不被未經授權的實體任意非法使用和非法訪問。基于這一特征，訪問控制決定了哪些實體能夠訪問進入系統，能訪問使用系統的哪資源信息以及如何使用這些數據。合理適當的訪問控制能夠有效阻止未經允許的實體有意或無意地獲取使用數據資源信息。訪問控制的方法通常包括用戶識別代碼、口令、登錄控制、資源授權、授權核查、日志和審計信息。訪問控制是維護安全，保護系統資源的主要手段之一，也是防止黑客攻擊的關鍵手段之一。

2.3.3 完整性

數據完整性是指數據沒有受到非授權方式所做的篡改，同時也沒有出現未經授權的使用情況，如果充許“向上寫、向下讀”，那么高安全等級的數據就有可能被低安全等級的用戶、進程等主體篡改，數據完整性將沒有任何安全保障可言。

2.3.4 數據安全

數據安全主要包括白名單防護系統訪問安全、通過用戶登錄防護填報數據訪問安全、通過日志記錄訪問信息、使用域名。

（1）白名單防護系統訪問安全：允許訪問填報工具的第三方系統的域名及IP 記錄在填報工具白名單中，填報頁面被訪問時做白名單檢查。

（2）用戶登錄防護填報數據訪問安全：在第三方系統訪問填報工具時，先調用登錄，使得當前用戶自動登錄填報工具；當前登錄用戶的權限等信息將自動加載到填報工具內存；用戶在填報工具保存、修改數據時，操作信息均記錄在填報工具日志中，詳見《填報工具日志設計》。

（3）日志記錄訪問信息：將每次訪問填報工具的第三方系統IP、用戶電腦IP、用戶工號、組織機構、期間等信息記錄在填報工具日志中。

（4）使用域名：通過域名填報工具，不能直接通過IP 地址訪問。

2.4 數據存儲的準確性

2.4.1 數據采集

通常數據處理之前會有數據采集的過程，數據采集會涉及到多數據來源，每種數據來源由于格式等不一致，需要特殊處理。針對不通的數據源，需要做到每個數據源獲取數據能夠獨立；采集過程需要監控，傳輸之前如有條件，可以做到本地有備份數據，便于異常查找時進行數據比對。

2.4.2 數據傳輸（實時/批量）

數據傳輸部分在整個系統中是相當重要的。數據傳輸是數據從一個地方傳送到另一個地方的通信過程。數據傳輸系統通常由傳輸信道和信道兩端的數據電路終端設備（DCE）組成。傳輸信道可以是一條專用的通信信道，也可以由數據交換網、電話交換網或其他類型的交換網路來提供。

數據源本地已經做到有備份的情況下，對于傳輸異常的時候，需要支持重試，存儲端需要支持去重。

2.4.3 數據建模/存儲

數據存儲可以針對結果集合進行冗余分類存儲，便于數據進行比對，針對存儲需要進行副本備份，同時數據可以考慮按生效記錄進行疊加存儲，支持回溯歷史的存儲結構進行存儲。

2.4.4 數據計算/分析/挖掘

數據進行計算，分析的時候需要進行步驟分解，便于準確性的分析和統計

（1）計算之前，支持測算，同時支持數據進行分批計算，需要能導出本批次清單基礎數據（例如人員或者id），便于數據核對。

（2）計算之中，支持快速少量指定的典型數據測算，支持選擇，是否存儲參與計算過程的全部的中間變量。

（3）計算之后，可以選擇，支持導出本次計算過程中的所有參與變量和中間變量參數，可以線下根據數據列表對應的參數，進行計算，從而進行數據準確性的核對。

計算過程中，支持針對有問題的數據ID 進行染色，染色后的數據，所有的中間過程變量全部進行打印輸出。

3 結論

總而言之，智能報表數據存儲優化是多個方面的，卓先考慮的就是適合業務需求的存儲系統，智能報表最適合的存儲系統則是mongodb，因為mongodb 的最大特點就是格式自由，易于存儲數據，然而報表數據的內容是多樣化的，在對智能報表數據存儲優化，就是將mongo 數據格式轉化為mysql 格式的數據存儲，mysql存儲性能高于mongo 的存儲性能。數據存儲的安全性和準確性也是數據存儲優化必不可少的，不準確、不安全的數據存儲會使得工作出現和恩多不必要的麻煩。為了智能報表長期、穩定地運行，數據存儲優化萬萬不能小視。