數據碎片化

Gerard Francis

數十年來，數據碎片化一直是各行業面臨的供應鏈挑戰之一。多樣的數據來源、參差不齊的質量、重要的數據驗證要求都可能引發效率低下和各種風險。而金融機構數據獲取與供應的碎片化由于行業的特殊性和重要性尤其引人關注。

金融機構依賴數據進行投資策略優化，支持關鍵業務運營，但數據集的采購與管理面臨著挑戰：數據來源不同造成數據碎片化或將導致數據沿襲的中斷。這是許多行業的共性問題，但就金融機構而言，通過關注數據來源的質量與可靠性或許可以找到解決方案。

數據獲取、管理和分發的過程對下游數據的質量、一致性、成本和價值有著重要影響。特別是在當下可用數據越來越多，需要內容輸入的系統也越來越多的背景下，數據的運營效率對于一個機構未來的成功變得至關重要。

數據供應鏈的管理人員強調，碎片化數據固有的挑戰數不勝數： 首先，符號系統和識別碼因來源各異。基礎數據結構與數據集亦不相同，需要花費大量的時間、精力和分析計算能力才能實現同質化。 其次，當模型的數據源不同或不同頻率的數據集被合并時，金融機構會在資產估值和風險計算中獲得前后不一致的結果。如果交易員與風控官拿到的風險值不同，他們之間就不會有有效協作；更嚴重的是，真正的風險敞口可能被忽視。在解決來源不一致的過程當中，前臺、中臺和后臺可能受到這些因素的干擾，發生流程故障?？偠灾?，多種數據來源會帶來更高的運營風險和成本。

彭博去年開展了一項首席數據官（CDO）定性研究。研究顯示，首席數據官們正疲于向公司內部的關鍵利益相關者講解數據質量、治理與合規的重要性，尤其是面對多德-弗蘭克法案、MiFID II、GDPR以及巴塞爾BCBS239這些法規時的重要性。企業在監管合規方面按部就班之后，首席數據官往往開始將工作重心轉移到業務數據的效率、價值以及深入洞察上面。由此，新的重點——解決數據碎片化問題就提上了日程。

亞洲多維監管環境下的數據

整個金融服務行業的現狀是：多種數據來源帶來更多復雜問題，進行清理則需要人力和技術資本的更大投入。用于分發的技術多樣，可能導致數據整合與維護工作的重復。大量的數據重疊導致成本效率低下，而分散的數據源又要求建立多個合同關系和模型，這些都加劇了問題的復雜性。

在亞洲，數據碎片化往往有多個維度，范圍跨越不同地區、司法轄區和監管制度。在歐盟和美國統一接受MiFID II和多德-弗蘭克法案約束的背景下，亞洲卻沒有統一的上層監管體系。另外，大相徑庭的政治、經濟、市場和商業環境，都使得在亞洲地區可能難以實現高度數據整合。

然而，數據和金融服務具有無界限的性質，而且這一特性表現的日益突出，在亞洲經營的企業也有遵守或看齊美國和歐盟要求的需要，因此越來越多的企業開始重視理解數據供應鏈，并著力對其進行整合。

這意味著亞洲的企業或許有機會彎道超車，領先西方同行。例如，亞洲的銀行近年來已開始構建自己的技術，同時不得不做出艱難的抉擇——堅持一個數據源，還是使用多種數據源。我們越來越多地看到，機器學習和預測分析正促使企業在內部建立自己的數據湖，從而使企業的數據源單一化而不是依賴眾多的第三方。在起步時做出正確的數據選擇，將為企業奠定未來的方向。

新興市場的機遇：統一數據，統一來源？

近年來，我們觀察到金融服務業的數據需求呈現分布廣泛且不斷升級的特點。企業的數據需求日益增長，包括：資產類別和工具的全面覆蓋、可靠的參考數據和主數據、實時市場數據、定價和估值數據、以及業務攸關的分析與風險計算。對于需要評估市場流動性、跟蹤波動性和管理風險的公司而言，實時數據尤為重要。 加之大量的監管和會計要求，數據需求變得更為復雜，因此，首席數據官更加需要簡化數據和技術流程。

有意思的是，新興市場的一些金融服務公司在這方面可能比更成熟的全球化公司具有優勢。由于對成本敏感且缺乏資源，這些公司恰好可以避免數據碎片化的陷阱。這類公司偏好能提供靈活性和敏捷性的更輕量、云端就緒的技術平臺。從一個綜合來源獲取高質量數據，降低了對于連接多個數據源所需的技術、能源、法律和運營等間接成本，有助于提高成本與合規管理的效率。

從長遠來看，金融服務業為滿足自身的主要數據需求最終可能會轉向采用一個數據源——確立一個可靠的技術合作伙伴作為其值得信賴的多種數據集。單一數據源可跨部門保證數據一致性，減少業務工作流程中的數據中斷，并降低操作風險和總體數據成本。彭博研究顯示，成本是首席數據官們當下最大的痛點。實際上，約六成的受訪者表示他們計劃遷移到單一的主要數據供應商，另有三分之一的受訪者表示他們計劃減少供應商。

越來越多的公司正在選擇彭博這樣的企業級數據公司來管理全部數據需求，因為只有企業級數據公司才可以提供全面的數據集、行業領先的數據分發和統一的數據模型。與彭博合作過的數據管理人員表示，他們已經成功減少了一半甚至高達三分之二的數據管理成本。

有一點是無可爭議的——隨著市場數據、分析和深入洞察日愈重要，以及監管數據需求日益增長，通過精簡數據來源，獲取高質量數據將成為首席數據官們的工作重點。

（作者Gerard Francis是彭博企業數據業務全球負責人，本文由彭博授權刊發）