數據遷移測試的流程分析

黃志清 張送 韋通明 溫麗梅 韋統邊

關鍵詞：大數據;數據遷移;數據測試

1引言

近年來，隨著時代的快速發展，全球已經從互聯網時代進入大數據時代，目前全球數據總量已經達到ZB級。相應地，對于數據存儲硬件的要求和服務器容量的要求也變得越來越高，為了適應越來越多的使用場景和進行相應的數據分析處理，數據遷移在這個過程中也就變得越來越重要。因此，最為重要的就是確保數據遷移后數據的完整性和準確性。本文對數據遷移測試的全過程方法進行了分析，并且提出了一種數據遷移測試的具體方法，旨在減少測試邏輯混亂帶來的時間成本和人力成本，從而更加高效地提高數據質量[1]。

2數據迂移測試中容易出現的問題

數據測試人員基本上是按照項目需求文檔的規則，對原本的數據源數據和遷移后的數據源數據進行比對，從分析的角度出發，只有每一條數據都能夠完全相同，才能夠保證數據的準確性和完整性。在數據測試的過程中，經常會碰到下文所述問題，會影響數據的準確性和完整性，需要特別注意[2]。

2.1測試邏輯混亂

當測試人員對遷移后的數據進行測試的時候，有時候沒有經過前置條件的數據就直接測試后面的數據，造成數據測試結果無效。出現該問題的原因有可能是項目需求文檔未申明清楚，產品人員傳遞需求有誤或者沒有規范的項目管理流程。這樣的數據測試結果無法證明數據是正確的，從而需要復測，導致人力成本和時間成本增加。如果出現這樣的問題，就需要規范測試需求和測試流程，從而能夠直接找到問題所在，進而進行分析和解決。

2.2測試點不全面

在測試人員對數據進行測試的時候，有時因為業務給出的要求不能覆蓋全部使用場景，導致部分數據的測試結果不準確，從而影響后續的數據分析和業務開展。造成這個問題也可能是其他原因，如不同的業務場景適用的數據要求不一樣，僵硬地套用測試規則就容易導致測試點不全面。因此，需要針對常用的業務場景設立通用的測試點標準，對于具體業務還需要具體評估，而后分析和補充測試點[3]。

2.3測試時間較長

在一個完整的測試過程中，因為可能存在的項目需求不明確，測試人員未在一開始就溝通或梳理清楚需要測試的要點，以及多次重復測試，需要測試的數據量大小等，所以導致測試人員在一個完整的項目周期內測試部分花費的時間較長，從而影響整體的項目進度，甚至提高時間和人力成本。因此，需要在開始階段，與開發、需求方進行共同探討，如需要從哪些方面展開相關的測試，可以確保數據的可用性和正確性。

3數據遷移測試流程及方法

數據測試中需要對遷移后的數據進行全面分析[4]，厘清據遷移之后從哪些方面進行數據測試。數據遷移測試應關注如圖1、圖2、圖3所示方法流程。

3.1數據遷移測試內容

數據遷移測試主要由測試人員完成，測試通過后由研發部門部署上線[5]。主要包含以下測試內容：（1）對遷移后的數據進行全面分析，厘清數據遷移之后需要從哪些方面進行數據測試;（2）編寫soL語句，從數據庫里面獲取遷移前后的數據;（3）利用Excel數據分析工具的數據排序、篩選、分列、去除重復項等功能建立數據遷移比對模板，提高測試過程的規范性，并且可以輸出一致的核對結果，該模板可以通用;（4）利用數據表的唯一關鍵字（如ID）、日期字段、時間字段以及其他可以進行分區的字段對數據進行分區分模塊的數據比對，通過并發的方式可以同時比對多個模塊的數據，從而大大減少數據遷移測試的時間成本和人力成本，且數據的正確性能夠得到保證;（5）統計時間范圍內總數據的條數是否相等，如果不相等說明數據質量不符合要求，需要重新迭代數據;（6）分析表結構和注釋內容是否符合規范，即兩張表的表名、字段名、注釋名等是否相同。如果不符合規范，說明數據質量不符合要求，需要重新迭代數據;（7）判斷迭代后的數據是否出現異常情況，如不允許空值出現的數據庫出現了空值的情況;（8）分析和統計數據遷移前后各個字段的值出現的頻次是否相等：（9）分析如果出現數據轉換，遷移后的字段數據是否符合數據轉換要求。比如，原字段為空值，轉換后為其他值的情況;（10）判斷（6）（7）（8）三項是否符合條件，不符合條件說明數據質量不符合要求，需要重新迭代數據;（11）抽取樣本數據，對其中的數據進行逐一比較和分析，以判斷遷移后的數據是否有出現變化。

3.2數據測試難點

在實際的測試過程中，常常會碰到以下難點。

（1）業務具有復雜性。測試人員對于不同的業務場景有一套通用的測試流程和標準。但問題在于，由于業務的復雜性，對于數據的使用有了更多、更高的要求，因此需要對每個業務場景進行單獨分析——需要新增的測試點，這對數據測試人員提出了更高的要求，需要花費大量時間和精力去做測試分析，并且需要從一開始就參與到算法的討論和評審中，對整個過程達成一致之后才不會出現理解不同步的情況，從而導致實際效果不如預期[6]。

（2）測試流程不規范。正常的測試流程為：問題反饋給開發人員修改，修改完后再給測試人員進行復測。在復測的過程中，因為測試人員的個人理解和技術手段等原因，對于測試方式、測試流程、測試點都會有自己的理解。如果遇到問題較多、復測流程不規范、不能對整個測試流程都了解清楚、業務經驗不足的情況，就會容易造成問題循環反復，從而大量浪費開發人員和測試人員的時間，并且提高了項目的時間成本[7]。

（3）沒有一套可行性高的測試方法或者自動化程度高的測試工具和模板。在實際測試的過程中，因為缺乏自動化程度高的測試工具、平臺和模板，導致實際測試方式會因為測試人員本身的技術能力、業務經驗、個人理解等有很大的區別，如果出現測試人員離開，其他人員接手的情況，那么就需要花費更多的時間且測試后的效果不可控[8]。

（4）整個項目的時間成本和人力成本不可控。因為上述的多種原因，如業務的復雜性、測試流程的不規范、沒有一套可行性高的測試方法或者自動化程度高的測試工具、模板等其他原因，每一因素出現都會對整個項目的時間成本和人力成本造成重大的影響，從而影響公司的項目進度，甚至影響個人的能力評價等[9]。

3.3數據測試展望

自動化的數據測試是最理想的目標，通過利用自動化和智能化的測試工具，設立不同的測試規則和數據模型，一方面可以大大縮減通用測試需要的時間和流程，另一方面為更多業務場景的測試分析提供了更多的設計方法和可行性，能夠有效確保數據遷移后的數據的準確性，從而實現對數據質量的管理，降低了人力成本和時間成本[10]。

建立一個通用性高、適用性強的數據測試平臺也是一種可行的方式。通過在平臺上建立多樣化的數據遷移測試模板，從而能夠對大部分業務場景實現覆蓋，并且可以在平臺上對新的業務進行二次開發。操作簡單、開發簡單也是其必須具備的能力，這有利于新的測試人員快速熟悉并且上手，從而大大減少在整個項目過程中數據遷移測試所花費的時間，進而降低公司項目成本。另外，對于從事數據測試的相關人員的能力培養也是一個重要課題。通過聘請行業內的知名人士或者資深經驗者給公司員工進行相關能力培訓，加上對應的實戰演練，對測試人員的能力提升會有很大的幫助。與此同時，測試人員要多把每一次的經驗累積總結下來，形成知識間的互通，有助于業務經驗的快速增長和測試能力的快速提高。

4結束語

本文主要介紹了一種用于數據遷移之后對數據準確性進行測試的可行性方法，即利用Excel數據分析工具的數據排序、篩選、分列、去除重復項等功能建立數據遷移比對模板，提高測試過程的規范性，并且可以輸出一致的核對結果，該模板可以通用：利用數據表的唯一關鍵字（如ID）、日期字段、時間字段以及其他可以進行分區的字段對數據進行分區分模塊的數據比對，通過并發的方式可以同時比對多個模塊的數據，從而大大減少數據遷移測試的時間成本和人力成本，且數據的正確性能夠得到保證：提出了一種可行性較高的測試方法，用來規范數據測試流程，避免測試混亂的問題，完善測試邏輯，從而能夠有效確保數據遷移后數據的準確性，實現對數據質量的更好管理。