









從目前的發展情況來看,數據質量問題嚴重制約了數據要素價值化的進程。企業將巨大的精力投入在數據治理、數據標準制定上,采用各種方法來約束和管控業務數據的生產、采集和利用,卻往往忽視了數據其實是一個協同的工作。提升不同用戶之間的協同共享,成為解決數據質量的最佳方法
在數字化時代,?數據被視為最基本的要素,?其憑借邊際成本低、?規模效應大、?流動性高、?可復用性強等特點,?正在成為引領中國高質量發展的一個新引擎。但從目前的發展情況來看,數據質量問題嚴重制約了數據要素價值化的進程。企業將巨大的精力投入在數據治理、數據標準制定上,采用各種方法來約束和管控業務數據的生產、采集和利用,卻往往忽視了數據其實是一個協同的工作。提升不同用戶之間的協同共享,成為解決數據質量的最佳方法。
協同共享是數據質量問題的本質解決方案
人們在提到數據質量問題時,往往會責怪數據的生產者不遵守規則、不按系統要求進行錄入等行為。例如,企業的數據管理人員通常會說類似“業務前端混亂輸入,把系統都搞亂了”等話語。但真的是這樣嗎?
精益數據方法認為,數據質量并不是數字化轉型追求的根本目標,而是為了達成業務目標的手段和工具。不能為了追求數據質量而去限制或要求業務人員一定要遵從一些僵化的規定和流程,讓業務失去敏捷性。
數據質量問題的本質根源是缺少協同。當業務團隊在填寫財務要求的指標時,財務團隊無法實時掌握,只能在事后看到問題后去追溯,而如果能夠做到實時協同,那么這樣的問題在第一時間就可以糾正。
當前,業務變化的速度已經超越了標準和流程制定的速度,數據層面更是這樣。新的業務動作、業務想法源源不斷地產生,如果每一個新業務都需要等流程、規則都制定清楚之后再去執行,那么肯定為時已晚,所以打造高響應力的企業,就需要高度的協同共享。
精益數據方法將數據協同共享作為數字化企業的六大核心能力之一,建議每個企業都要建立自己的數據共享體系,從而提升全局數據的協同能力,如圖1所示。
當前很多企業只關注數據的生產能力,而忽視了數據的協同共享機制,這是導致數據質量差、數據孤島等問題出現的重要原因。建立內外部數據協同體系,讓業務、數據和技術全鏈路拉通,是打造數據驅動型企業的重要手段。
數據協同的核心是實現端到端閉環,以數據為生產要素,打造高效協作、快速反饋的數據價值引擎,從而在協同中發現問題、糾正問題,制定全局最優的解決方案。
數據本身沒有壁壘,是相互關聯、相互耦合的,但是企業的組織結構、崗位分工卻將數據困在一個個孤島里,使其無法自由地流動和參與部門協作。受限于組織結構、應用架構和職能分工,很多企業的數據不能共享、不能集成、不能協同,于是出現了數據需求膨脹、IT部門能力不足、數據開發需求緩慢等情況。IT部門的資源已經無法支撐企業劇增的數據需求,在全鏈路協同下,各部門數據自服務將成為企業的趨勢。
數據協同要從一種自發、無組織、依賴工作人員線下關系和利益的被動協作,走向標準化、統一、借助平臺工具的體系化協作,才能從根本上打破數據壁壘,讓數據要素真正成為企業的資產,更快、更好地創造價值。
數據協同是企業數字化轉型體系的重要能力組件
《精益數據方法論——數據驅動的數字化轉型》中首次將數據協同納入企業的數字化轉型體系,并作為重要的能力組件。數據協同是指多方協作,融合多方數據,對數據要素進行加工利用,達成某一類業務目標的過程。數據協同的本質是人與數據的價值連接,如圖2所示。
數據協同包括局部協同和全局協同。其中,局部協同是解決局部業務問題,優化多人協作的過程;全局協同是企業整體的數據生產、采集、加工、利用的全鏈路協同方式,讓所有的數據用戶利用同一套數據,按照統一的標準協作。目前大部分企業的數據協同都處于局部協同階段,通常是項目級、任務級的團隊內部協作,并未形成企業級的全局協同。
企業數據協同的現狀分析
企業各個業務部門對于數據的依賴性越來越高,很多企業每個業務部門都有專門的數據分析和運營人員來獲取和分析業務數據,生成報表和洞察報告提供給業務決策者。在此過程中,業務部門不僅需要本部門的數據,還需要其他業務部門的數據,各業務部門對于數據共享的需求越來越旺盛。但現在大部分企業中,業務部門期待的數據協同方式和實際現狀間仍存在很大差距,如圖3所示。
過去很多年,找數據、做分析、制報表等所有需求都需要找IT團隊來解決,這也導致企業數據協同的需求并不旺盛,因為各部門都要求IT部門提供數據,自己并不需要承擔數據的工作。企業隨著業務的快速發展,全員對數據的需求處于爆炸式增長的階段,所有的業務分析、決策都需要數據來支撐,甚至開一個會都需要抓取各種數據來做臨時分析。在這種情況下,沒有任何一個企業的IT部門能夠及時滿足如此龐大、隨機、隨時的數據生產需求。當業務部門在IT部門排隊等待、催促還是無法獲得數據以后,業務部門就開始自建數據分析和運營體系,在部門內部完成獲取數據、分析數據、加工數據等過程,這樣一來,各種數據生產工具不斷出現,各種數據集不斷產生。由于缺少統一的標準,缺少技術工具,各業務部門之間的數據口徑、數據分布不一樣,數據分析工作缺少標準化協同,最后帶來重復加工、重復分析、數據不一致等多種問題。
數據協同的六大階段
經過十幾年的信息化建設,企業生產的數據越來越多,企業利用數據的需求也越來越廣泛和深入,所以很多企業都專門設置了數據加工和分析的崗位,所有人員在一套企業的數據基礎上進行加工利用,形成了企業數據協同的全景圖,如圖4所示。
企業的數據協同過程可以分成6個關鍵階段:
第一個階段是數據源。企業內部眾多割裂的系統時刻都在產生大量的源數據,這些數據以部門為單位,服務于某一段時期的特定業務需求,不同的開發團隊采用的技術架構不盡相同,數據建模方法也不一樣。應用級的數據之間口徑不一致,內部的數據開發人員缺少協作,最終導致數據孤島叢生。
第二個階段是數據采集、獲取。在過去以數據倉庫為主的企業數據建設過程中,很大一部分工作是從源數據系統中采集和集成數據。這樣的采集工作呈現兩個特點——需求多樣和標準不一。不同的業務需求對數據有著不同的采集頻率、采集方式,比如文件傳輸、數據庫復制、通過API獲取等。這樣的采集工作缺少全局的規劃,數據消費端的需求不一樣,所以采集哪些數據,用什么結構去采集,以及如何設計數據處理鏈等都不一樣。
第三個階段是數據存儲。采集到的數據會被存儲到各種各樣的數據系統中。很多企業的數據體系是按照組織結構來設計的,缺少統籌規劃。比如,集團有集團級別的數據倉庫,分/子公司有分/子公司級別的數據倉庫,甚至有的業務部門也有自己的數據存儲系統,重復加工、重復存儲的數據隨處可見。缺少統一的數據血緣追溯體系會讓數據消費端不知道從哪里能取到最可信的數據。
第四個階段是數據分析、加工。數據分析是應用最廣泛的數據處理工作,從業務人員到數據人員都有數據分析的需求,但是目前企業的數據分析現狀具有以下3個特點:大量時間花費在找數據而不是分析數據;缺少在線協作的分析工具;分析后的成果難以共享和分發。數據分析的背后是非常繁重的數據加工工作,而當前大部分企業的數據加工環節是以數據團隊為中心去進行的,這會導致出現以下3種現象:數據團隊疲于奔命;數據加工環節缺少統一的監控、調度、預警等管理功能;缺少統一的工作臺,帶來數據不一致、重復加工、版本無法管理等問題。
第五個階段是數據產品。構建數據產品是從數據到價值的最后一公里。當前企業數據產品構建往往呈現3大特點:由于沒有建立起統一發現、搜索和使用數據資產和產品的平臺,當出現緊迫的業務需求時,就會出現數據的分發和復制等現象;由于缺少運營,導致數據平臺和數據產品的價值無法被精準度量;由于沒有設立數據資產的82de77032f122862157e420eed94fc91分級、分類機制,導致數據產品的安全管控措施缺失。
第六個階段是業務場景。數據產品最終會應用于不同的業務場景,如生產領域的智能排產、需求預測;銷售領域的精準營銷、用戶畫像。這些業務場景往往是由不同的部門主導和構建的,各業務場景之間相互割裂、互不聯系。站在理論的角度來看,所有的業務場景背后應該只有一套可信且真實的數據,但現實情況并非如此,由于各個業務領域都有自己的數據副本,且數據經過多次加工,最終導致不同業務場景中的一些共性數據口徑不一致、結果不一致等問題。
數據協同的六大挑戰
從企業數據生產加工過程來看,企業數據協同面臨以下6個挑戰,如圖5所示。
目標不一致。協同的基礎是有共同的目標。只有有了共同的目標和利益,相關人員才能夠在內心認同協同。現在很多部門的數據利用與生產是割裂的,各部門有各自的KPI考核指標,并沒有形成統一的目標,因此缺少對齊目標的意識和行動。
缺少意識。目前很多企業尚未建立起數據協同的意識。業務部門認為數據是技術部門和數據部門的事情,與己無關;而應用開發團隊又往往將數據團隊隔離在外。如此,數據不一致的問題難以避免。
缺少標準。當下很多企業在數據開發和利用上沒有統一標準,包括數據協同處理的流程和規則、各個團隊之間的分工等各方面。
缺少度量。由于缺少標準,所以采集不到協作過程的進度、狀態等關鍵指標,也就無法可視化和度量每一個數據任務的狀態,最終導致數據盲跑的現象出現。
缺少平臺。大部分企業都缺少企業級的數據協同平臺,不能把業務、技術和數據三方的相關內容和工作人員都整合在一起,無縫銜接,無邊界協作。
缺少運營。讓企業實現數據協同還需要運營。運營的主要任務包括運維、調度、分析和引導等。
數據協同的四個原則
企業已經進入數據民主化的時代,如何能夠在全員皆是數據用戶的情況下做好數據協同,成為所有企業面臨的問題。精益數據方法認為,企業實現數據協同要遵循4項原則,如圖6所示。
價值驅動:所有的協同動作都要以業務價值為目標,協同的動作要適合具體的業務場景。
安全合規:數據是企業的核心資產,安全合規是一切數據工作的基本準則和底線。
開放共享:在安全合規的前提下,數據的開放共享做得越好,數據用戶之間不必要的協同動作就越少。
最小必要:不同用戶之間的協同需要遵守最小必要原則,即在明確業務價值、充分開放共享數據的基礎上,盡可能地減少不必要的協同動作。
企業構建數據自服務門戶的價值
單靠流程制度是無法實現數據協同目標的,企業還需要構建數字化的協同平臺來支撐和保障數據協同過程,這個協同平臺就是“數據自服務門戶”。
數據自服務門戶是為企業所有用戶提供集成、統一的數據產品和服務的唯一入口,所有的數據用戶能夠在數據自服務門戶中找到其需要的數據資產,并且在這個平臺上進行數據的開發生產、協作分享等相關工作。
對于企業來說,數據自服務門戶的價值主要體現在以下5個方面,如圖7所示。
統一入口:統一過去割裂、分散的數據資產,用戶通過一個入口登錄,一站式解決所有問題,這是數據自服務門戶的核心價值。通過一個入口、一個平臺、一套體系、一個身份就能訪問企業最新的、自己權限下所有能訪問的數據和數據產品及數據相關的系統。
整合資源:統一的入口讓所有數據相關的產品、資源、工具、技術、項目都集中在一個平臺上展示出來,用戶可以通過全局搜索,更便捷地查找相關數據。搭建數據自服務門戶是企業整合數據資產、提高協同效率最簡單的方式。
推動協作:過去企業的數據協同不完善,不是因為各部門沒有需要,而是因為缺少協作的手段。數據自服務門戶可以讓數據資產更容易地共享、流轉、交換、集成,讓協同變得更加簡單。
價值運營:數據被連接、集成和分享的次數越多,價值越高,所以必須要讓數據流動起來。數據自服務門戶可以通過強大的運營能力,設計價值度量體系,開展數據產品營銷活動,讓可信的數據集和數據產品能夠被更多用戶看到,引導用戶去解決企業最有價值的業務問題。
賦能全員:數據自服務門戶能夠利用簡單易用的工具和流程,讓不懂數據和技術的業務人員及管理人員快速掌握一些基礎的數據分析技能,從而做到數據自服務,減輕數據工作者的壓力,同時提升業務人員的數據意識和能力。
企業數據自服務門戶的典型功能構成
數據自服務門戶是一個開放性、可集成、可擴展的平臺。通過技術協議,企業將所有的數據相關的應用和功能集成在一個視窗里,促進企業級的數據協同和生產。數據自服務門戶包括以下核心組件,如圖8所示。
個性化首頁:每一個角色都可以根據自己的喜好和習慣,定制專屬于自己的個人門戶,自定義配置首頁和管理模塊。
內容管理平臺:可以定義各種欄目,然后將各個欄目交由不同的部門角色去管理,欄目的運營人員可以發布、管理自己的內容。
數據產品/服務市場:每個用戶既可以是數據的生產者,也可以是數據的消費者。用戶可以上傳自己的數據集,也可以搜索、查找其他用戶發布的數據集和數據產品,從而進行交易。
數據資產目錄:查看并管理自己可以瀏覽和訪問的企業數據資產,包括各類數據產品和數據服務,還可以訂閱數據資產的更新信息,獲得及時的推送。
企業級內容搜索:使用戶能夠快速找到自己想要的內容。
數據探索平臺:提供各種數據探查和瀏覽的工具集,讓用戶可以對數據有全面的了解。
數據創新平臺:集成了完成提出想法、數據實驗、模型驗證、最小可行產品測試等事項的全鏈路功能,讓業務人員、數據人員和技術人員可以基于數據,共同圍繞業務目標開展各種創新試驗。
數據標簽體系:為每一個數據產品、數據服務以及相關文章等內容打上標簽,從而提高數據利用的便捷性和協作的效率。
數據自服務工具包:為不同的角色提供對應的數據自服務工具包,包括各類專業的數據分析和挖掘工具,從而支持用戶靈活地配置自己所熟悉的工具包。
門戶運營看板:用戶可以設置查看自己關注的對象瀏覽了哪些數據集,以及訂閱自己需要的數據產品的實時更新狀態等。
溝通協作工具:提供便捷的溝通協作工具,讓不同地點的員工可以遠程溝通、協同,主要包括大規模討論的線上論壇,點對點溝通的即時通信軟件,開發人員的協作編程工具等。
數據自服務門戶的核心目的是構建蓬勃的企業數據生態。運營團隊圍繞企業目標、業務價值,實時監測、管理和引導用戶行為,通過各種運營策略和活動,提高數據自服務門戶的活躍度,讓數據能夠更快地流動起來,再根據用戶的行為數據分析來優化功能和運營策略,形成運營閉環,如圖9所示。
通過數據自服務門戶,讓業務人員和技術人員能夠在統一、標準化、即時反饋的協同體系里進行全鏈路的數據加工協作,進而從根本上解決數據質量的問題,實現數據拉通共享,打造全局最優的企業業務。
(作者系中國特色數字化轉型方法論創始人。暢銷書《精益數據方法論——數據驅動的數字化轉型》唯一作者,中國計算機學會數字化轉型與企業架構SIG主席、數字產業創新研究中心副主席、公眾號《凱哥講數字化》作者,為企業提供數字化轉型咨詢培訓輔導教練服務。)