利用質量保證框架改進數據質量

編者按

本文原載于2018年5月的《質量世界》（Quality World）。作者大衛·巴羅斯（David Burrows）是《質量世界》雜志的特約撰稿人，鮑勃·休斯（Bob Hughes）是坦普爾質量管理系統公司的主管，長期從事對制造組織質量數據的管理。在跨行業數據收集新技術出現之后，大量數據雪崩式涌現，組織面臨的挑戰是如何保證數據的質量。本文分析了各種規模和復雜性的組織都面臨的數據質量問題，介紹了如何用一個良好的質量保證框架來改進對數據的分析。

阿爾伯特·愛因斯坦有一句名言：“信息不是知識。”他的話一針見血。你可以隨時獲得信息，但如果它們的質量很糟糕或者你不知道如何解釋它們，那它們就是無用的信息。

成功的企業以了解其運營、市場和用戶群而自豪。技術進步意味著不缺乏可用數據，但對于復雜的組織而言，如何確保所收集和分析的數據質量足夠好，從而推動企業向前發展？

2016年，IBM研究發現，質量糟糕的數據每年使美國經濟損失3.1萬億美元。這足以購買蘋果公司和谷歌公司，而且超過了英國和泰國的國內生產總值之和。

2017年，研究和咨詢公司高德納在一份報告中得出結論，質量糟糕的數據每年平均使組織遭受970萬美元的財貨損失。

組織高質量的數據

隨著信息環境日益復雜，這種情況可能還會惡化。不同規模和復雜性的組織都面臨數據質量問題。那些擁有多個業務部門以及在多個地區開展運營和擁有眾多客戶、員工、供應商、產品的組織，將不可避免地面臨更多的質量挑戰。正如坦普爾質量管理系統公司的主管鮑勃·休斯所說：“大型公司，特別是制造商發現組織高質量的數據非常困難。當制造業蓬勃發展時，如果它不是‘迫在眉睫的問題’，那么就不會得到解決。”從本質上講，有效的數據管理并沒有被視為一個需要即刻關注的問題，甚至可能會無意識地被置于次要位置。

業務支持公司Exemplas的商務總監馬爾科姆·威廉姆森也持類似的觀點。他認為，將大量數據有效地組織成一個連貫、集中且直接有益于企業的東西是一項挑戰，同時也是許多公司竭力回避的挑戰。

那些沒有設法應對這一挑戰的公司可能會付出沉重的代價，因為質量糟糕的數據無疑會影響公司的績效。其他的負面影響還有很多，包括風險管理無效、糾正措施錯誤、管理審查信息不足以及內部審計控制不力等。

假設一個公司確實將數據管理視為優先事項，那么它又如何確保其數據質量呢？

休斯的答案是：“通過數據的完整性和內部審計的質量。”并補充道，培訓將為此提供保障。“培訓涵蓋有效的溝通和認識，確保人們了解輸入不準確數據的后果。”在很大程度上，大數據改變了商業格局。大數據是宏大的數據集，對其進行分析可以揭示相關模式、趨勢和鏈接，尤其是與人類行為和購買習慣有關的內容。正如休斯所解釋的那樣，與大數據相關的質量保證挑戰與公司可用信息的水平和復雜性有關。他說：“問題是要從中得到你所需要的東西。”

IBM的大數據和信息治理專家彼得·韋斯頓回應并解釋說，很多公司現在已經被混亂的信息所淹沒。“多年來，公司擁有了大量易于存儲和訪問的結構化數據庫。如今的后網絡時代，除了結構化數據，還有大量的非結構化數據。”

韋斯頓以那些必須響應新通用數據保護法規（GDPR）的銀行為例。“以前，銀行只需要關注存儲在數據庫中的賬戶詳細信息、交易等結構化數據。現在，根據GDPR的規定，他們需要分類和存儲大量非結構化數據，例如客戶通過電子郵件發送給銀行的信件等。”

一家銀行使用IBM的StoredIQ套件（一種數據管理軟件，允許組織識別并處理非結構化數據，而無需將其移至專業應用程序），來查找非結構化數據并對其進行分類。雖然它被證明是一項有價值的應用，但也帶來了額外的挑戰。韋斯頓說：“該銀行的回應是‘我們沒有意識到這些數據是如此的豐富，現在我們必須考慮對其進行更高程度的加密，以確保其安全性’！”

了解當前的數據

從冗余和過時的數據中識別有用和可用的數據可能非常耗時，可以先從了解數據質量的當前狀態開始。重點還應放在選擇支持正確業務成果的績效指標上，明確一個衡量業務改進的目標并確定期望獲得的收益。

在某些情況下，公司可以直接聘請數據專家來管理業務數據，有些公司會尋求第三方專家的幫助。韋斯頓概述了外包的利弊：“在中小企業市場中，存在購買數據管理服務的趨勢。這樣做的好處是你不需要投資很多系統；不利的一面是，雖然基礎數據不會被共享，但第三方供應商可能會將一些分析見解透露給競爭對手。”

毫無疑問，良好的質量保證框架可以改善數據分析。但正如休斯所解釋的那樣，只有從上到下明確定義了一致的方法，才能實現這種情況。“它必須由領導層推動。他們必須提供確保收集適當的數據并實施正確改進的動力。”

鑒于溝通和認識是質量保證的關鍵要素，特別是全球化公司不可避免地需要克服相關障礙。例如，語言、時間障礙，以及如何決定最有效地使用媒介（實時通訊、電子郵件、面對面會談等）與廣泛和多樣化的人群進行交流等。

質量專業人士如果希望確保組織數據的質量，可以將正確的工具納入他們的流程，更輕松地完成工作。休斯以統計軟件包Minitab為例：“現在很多組織都在使用Minitab。它的功能比Excel更多，是一款專業的數據分析軟件，可以生成詳細的圖形和圖表，使信息更易于理解。”

清晰的溝通

即使公司在軟件系統和數據專家身上花銷不菲，與整個公司的主要利益相關者進行溝通，對于良好的質量保證框架仍至關重要。如果信息集處于不同的孤島和不同的治理之下，那么工作的開展會很困難。

韋斯頓認為，這些數據專家不應僅僅是有價值的信息和洞察力的管理者，也應是在董事會層面提供可信和易懂信息的人。

他說：“公司內部的決策過程從一端的直覺反應到另一端的以證據為基礎，所有的執行決策都在該范圍內。如果高級管理層能夠了解數據的屬性，他們可能會更信任它并做出基于事實的決策。”

最近在倫敦召開的數字大師圓桌會議上，共同的觀點是數據專家需要更多地融入公司，以充分利用他們的技能和效能。會議（包括來自埃森哲、ASOS、巴克萊、博柏利、柯萊特集團、eBay、益百利、臉書和保誠集團的代表）得出的結論是，數據專家與產品經理一起工作將會更清楚地了解彼此的角色。

如果兩者能夠更緊密地聯系起來，那么挖掘和解釋有意義的數據就不那么困難。然而，對于新時代企業以及那些因并購活動而存在遺留問題的企業而言，實現這一目標將更具挑戰性。

雖然跨國公司可能有實力雇用一支技術熟練、薪酬豐厚且受歡迎的數據科學家團隊，來解決數據質量問題，但大多數中小企業都希望采用引入質量管理軟件和培訓新員工的方法，但這可能會帶來人員問題。

休斯解釋道：“許多公司正在投資并使用統計過程控制軟件來監控數據。這樣做的優點是效率遠遠高于手動數據輸入，缺點是這些項目需要技術能力。當受過培訓的員工跳槽到另一家公司時，公司會面臨商業秘密泄露的風險。”

遵守質量標準

企業現在處于數據驅動的文化環境之中，他們意識到質量數據對于推動企業發展至關重要——無論是制造商的更高生產率、銀行的合規性還是零售商的動態定價。軟件質量保證（SQA）在維護數據質量方面發揮著至關重要的作用。SQA是一種監控軟件工程流程的方法，用于確保軟件質量。它與ISO 9001：2015等標準有著內在的聯系。

隨著遵守ISO 9001：2015的最后期限逼近，許多公司在最后時刻才匆忙投入時間和金錢。盡管有3年的準備時間，休斯認為，隨著2018年9月的截止日期的到來，一些公司可能會失去認證資格。

休斯說：“ISO 9001：2015是對ISO 9001：2008的必要更新。從我們看到的情況來看，對于那些沒有優先考慮它并且很晚才接觸它的公司來說，還有很長的路要走。”

SQA不僅可以監控收集的數據，還可以監控用這些數據所做的事情。如果數據沒有被用于改進業務，那么最終將不會通過認證。

數據過載

休斯指出，要保持競爭力，公司必須從內部管理質量并使用數據來提高績效。“公司不能只是一味提高價格，他們必須確定哪些地方還可以提高質量。這將增加流程的價值而不是成本。”

當然，增加價值意味著要盡可能多地了解業務和市場/客戶，當存在太多不可靠或無關緊要的數據時，這通常會難以實現。韋斯頓解釋道：“研究表明，20%～40%的公司數據可以完全刪除，它們是冗余、過時和瑣碎的。從本質上講，它們根本沒有商業價值。”

韋斯頓補充說，通常收集的數據只有25%具有商業價值（見圖1）。但即便是這樣，也有一個問題，即它是否采用了可接受的格式。例如，所有的員工序列號都是六位數嗎？或者如果系統中出現了5個相同的姓名，是否意味著重復？數據收集系統中是否還有任何缺失的字段？

圖1 數據價值統計

人工智能

我們經常聽說人工智能的巨大好處。顯而易見，它有能力承擔數字運算和統計分析的苦差事，并加速整個過程。另外，人工智能在提高數據質量方面也可以發揮非常重要的作用。但在目前情況下，許多企業還無法充分利用人工智能。

正如韋斯頓所說，組織關注人工智能并看到了更深入了解客戶的機會，甚至會超過客戶對自身的了解。像亞馬遜和網飛（Netflix）這樣的公司就是很好的例子，它們應用“猜你喜歡”的概念——如果你喜歡那個產品，那么你可能也會喜歡這個。

韋斯頓補充說：“數據科學家面臨的最大問題是找到適合他們模型的質量數據。他們需要可信任的數據，否則他們的模型可能會做出錯誤的決定。”例如，有人通過有瑕疵的數據獲批了信用卡。

人工智能有明顯的好處，IBM等公司正在將人工智能納入他們提供的數據質量產品中。韋斯頓說，這意味著，基于添加的新數據集，人工智能將自動向特定目標人群提出建議。例如，它可能會自動向公司的營銷團隊發布信息：“這是你應該用于營銷活動的數據。”

那么，另一個問題就出現了：鑒于公司越來越多地使用自動化流程和先進技術，人未來在確保數據質量方面將扮演什么角色？

毫無疑問，這一工作仍然需要人類參與——因為人工智能旨在增強而不是完全取代人。正如韋斯頓指出的，那些具有正確技術知識的人將使用機器學習，然后在人工智能的輔助下提供好的商業洞察。用國際象棋傳奇人物加里·卡斯帕羅夫（1997年曾試圖擊敗超級計算機“深藍”）的話說：“不要害怕智能機器，和它們一起工作。”

前方的路

無論是采用人工智能還是雇用數據科學家來整理和解釋大數據帶來的大量信息，質量專業人士的格局在過去10年中已經發生了巨大改變。在客戶期望方面，無論是交付還是服務，互聯網已經改變了游戲規則，周轉時間變得更快。

公司需要了解客戶的需求——“他們希望何時以及如何交付”，并預測他們將來可能需要什么。在如此快節奏的環境中，競爭優勢變得至關重要。但如果沒有可信賴并且基于有意義指標的高質量數據，公司可能會發現自己成為落伍者而不是領導者。

案例分析

有時候，通過第三方分析大量業務數據，然后根據這些信息采取行動，可以帶來實實在在的回報。例如，IBM與某葡萄酒廠（世界上最大的葡萄酒廠之一，總部設在美國）合作。IBM對這項業務進行了非常詳細地了解，研究和解釋了大量內部數據。

IBM幫助該酒廠在種植園布設了龐大的監控設備網絡，幾乎遍及每株植物。這些監控設備使種植園能夠定制澆水和施肥計劃，使作物產量和質量提高40%以上，并讓使用水量減少30%以上。

通過使用現有的生產數據并分析浪費最明顯的地方，該公司得以改造其業務。隨著越來越多的公司看到這樣的實際利益，更高質量的數據管理將被視為必要選項。

（孟昭青 編譯）