數據準備工具：分析策略的秘密武器

Thor Olavsrud

要想獲得數據分析的好處，首先必須正確地準備數據。據市場研究機構Gartner的最新研究顯示，對于許多企業來說，這是一個很大的瓶頸，其70%的時間都花在了數據準備工作上了。

作為《數據準備工具市場指南》的主要作者，Gartner的數據和分析團隊高級分析師Ehtisham Zaidi指出，“通過適當的人員及時地查找、訪問、清理、轉換和共享數據仍然是數據管理和分析中最耗時的障礙之一。”

日立Vantara的首席營銷官Jonathan Martin認為，對于希望通過分析來轉變業務的公司而言，主要問題不在于掌握人工智能，而在于掌握數據管道。

他指出：“數據準備工作是最具挑戰性的工作。如何確定所有這些數據在哪里？是否可以建立一個投資組合？是否可以設計管道，以自動化的管理與治理方式將所有這些數據源連接在一起，從而使我們能夠在要求的時間范圍將這些數據送到正確的位置、合適的人和適當的機器那里？”

以下我們將深入探討數據準備為何仍然是數據分析所面臨的重大挑戰，如何準備數據準備工具以解決這些問題，以及在為企業選擇數據準備工具時要尋找哪些內容。

數據準備面臨的挑戰

數據準備面臨的挑戰是由多種因素導致的。

首先，支持分析計劃所需的數據源和數據類型在數量上和復雜性上呈指數級增長。訪問這些分布在分布式數據生態系統、公司內部和外部的數據源需要大量的時間、資源、技能和工具才能完成。

市場研究機構IDC負責數據集成和完整性軟件服務的研究主管Stewart Bond說：“當今乃至這個時代的數據環境是非常復雜的。環境中存在著多種不同的數據類型，如交易數據、主數據、社交媒體數據、結構化數據、非結構化數據、日志文件數據、圖形數據。不僅數據類型各不相同，并且這些數據所使用的存儲技術也都不相同。”

其次，對自助式數據訪問與集成的請求數量正在讓IT團隊不堪重負。Zaidi認為，這表明集中式IT模型和數據集成已經不再有效。

他說：“IT部門需要通過易于用戶使用和理解的工具來配置數據訪問和集成，這是數據準備需求進一步上升的原因。”

再次，數據需求在不斷變化。因為業務分析師、整合者、業務用戶、數據工程師和數據科學家對他們的項目都有著不同的數據需求。

Zaidi表示：“這使得準備一次數據就可以滿足不同角色/消費者的不斷變化的需求成為了不可能的事情。”

下一代數據準備工具

他補充道，隨著數據準備工具的成熟，痛點已經發生了很大的變化。過去，痛點在于用來連接哪些數據源以及準備哪些數據。如今，公司正在將重點放在數據治理、沿襲、可追溯性和質量上。此外，他們還需要確保具有必要技能的合適人員能夠通過數據準備工具訪問適當的數據。

Bond 將此歸為“數據智能”問題，即有關數據的元數據。他說：“這種智能包括了解數據的位置、數據的含義，以及誰在使用它們，誰可以訪問它們，為什么我們有數據，我們需要保存這些數據多長時間，別人如何使用它們。”

值得慶幸的是，數據準備工具市場正在不斷發展，并且發展出了能夠解決這些問題的新功能。上一代工具僅限于簡單數據轉換要求。數據轉換可以說是業務用戶所需的數據準備工作中的最后一英里。下一代工具可以與IT團隊共享發現結果和準備就緒的模型，并包含了諸如數據編錄之類的數據管理功能，這樣用戶就能夠查看和搜索連接的數據資產。

Zaidi表示：“某些工具現在還嵌入了高級數據質量功能，這些是上一代工具所沒有的。這些功能包括性能分析、標記、注釋、重復數據刪除、模糊邏輯匹配、鏈接和合并功能。IT和數據管理團隊通過這些功能可以更容易提高質量，確保廣泛采用和數據模型使用的治理與合規”。

這里機器學習（ML）是關鍵。基于機器學習的功能不僅可以在準備之前自動進行數據的匹配、聯接、配置文件、標記和注釋，而且某些工具可以突出顯示敏感屬性、反常現象和異常值，并與元數據管理和治理工具進行協作以防止敏感數據被泄露。

Zaidi解釋道：“這些由機器學習增強的數據準備工具允許不同技能水平的用戶采用數據準備，同時確保治理和合規性。”

應關注數據準備工具的哪些方面？

Zaidi指出，企業在評估現代化的數據準備工具時應當將重點放在以下關鍵功能上：

● 數據提取和分析。關注可視化環境，讓用戶能夠以交互方式獲取、搜索、采樣和準備數據資產。

● 數據分類和基本元數據管理。工具應允許用戶創建和搜索元數據。

● 數據建模和轉換。工具應支持數據混搭和混合、數據清洗、過濾，以及用戶定義的計算、群組和層級結構。

● 數據安全。工具應包括安全性功能，例如數據屏蔽、平臺身份驗證以及用戶/組/角色級別的安全性篩選。

● 基本的數據質量和治理支持。數據準備工具應與支持數據治理/管理以及數據質量、用戶權限和數據沿襲功能的工具集成在一起。

● 數據豐富。工具應支持基本的數據豐富功能，包括實體提取和從集成數據中捕獲屬性。

● 用戶協作和可操作性。這些工具應便于共享查詢和數據集，包括發布、共享和推廣具有治理功能的模型，例如數據集用戶評分或官方水印。

此外，Zaidi還強調要關注以下差異化功能：

● 數據源訪問/連接。工具應具有基于API和基于標準的連接性，包括原生的對云應用程序和數據源的訪問能力，例如流行的數據庫PaaS和云數據倉庫、本地數據源、關系型和非結構化數據以及非關系型數據庫。

● 機器學習。工具應支持使用機器學習AI來改善甚至自動化數據準備過程。

● 混合和多云部署選項。數據準備工具需要支持在云端、本地或混合集成平臺中的部署。

● 針對特定領域或垂直領域的產品或模板。工具應提供針對特定領域或垂直領域的數據和模型的成套模板或產品，以加快數據準備時間。

Zaidi在最后指出，用戶必須考慮的第一件事是，企業是使用獨立的數據準備工具，還是與廠商合作將數據準備嵌入后者的分析/商業智能、數據科學、數據集成工具中。如果用戶的大多數使用情況依賴于一系列分析/商業智能和數據科學工具的數據集成，那么請考慮使用獨立工具。如果僅在特定平臺或生態系統的背景中需要數據準備，則使用這些工具的嵌入式數據準備功能可能更有意義。

數據準備市場概況

Gartner將數據準備工具供應商分為四類，由于數據準備功能已嵌入所有數據管理和分析工具中，因此每一類都在不斷發生著變化。

獨立的數據準備工具。這一領域內的供應商將重點放在了與下游流程進行更緊密集成方面，例如API訪問以及對多個分析/商業智能、數據科學和數據集成工具的支持。該領域的工具包括Altair、Datameer、Lore IO、Modak Analytics、Paxata和Trifacta等供應商的產品。

數據整合工具。此類供應商一直專注于數據集成和管理。相關產品包括來自Cambridge Semantics、Denodo、Infogix、Informatica、SAP、SAS、Talend和TMMData等供應商的解決方案。

現代分析和商業智能平臺。這些供應商專注于將數據準備作為端到端分析工作流的一部分。Zaidi稱，由于數據準備對于現代分析和商業智能至關重要，因此該領域的所有供應商都嵌入了數據準備功能。此類別中的供應商包括Alteryx、Tableau、Cambridge Semantics、Infogix、微軟、MicroStrategy、甲骨文、Qlik、SAP、SAS、TIBCO Software和TMMData。

數據科學和機器學習平臺。Gartner指出，這類供應商將數據準備功能作為了端到端數據科學和ML流程的一部分。代表廠商包括Alteryx、Cambridge Semantics、Dataiku、IBM、Infogix、Rapid Insight、SAP和SAS。

除了以上四個大類之外，Gartner還注意到了其他新興的具有數據準備功能的新類別，其中包括以下平臺和代表性供應商：

● 數據管理/數據湖支持平臺：Informatica、Talend、Unifi和Zaloni

● 數據工程平臺：Infoworks

● 數據質量工具：Experian

● 數據集成專家：Alooma、Nexla、StreamSet和Striim

6個關鍵的數據準備工具

下列6個數據準備工具充分展示了當前有關可用功能的發展情況。

Alteryx Designer

這個獨立的數據準備工具其實也是Alteryx Analytics和Data Science平臺的一部分，這意味著它們能夠作為廣泛應用的分析與商業智能平臺中的一個功能被嵌入，亦或是作為被廣泛應用的數據科學和機器學習平臺中的一個功能被嵌入。它們可以提供拖放工作流，無需SQL代碼即可分析、準備和混合數據。另外，該工具采取按年訂閱并根據用戶數量進行收費。

Cambridge Semantics Anzo

Anzo為Cambridge Semantics的端到端數據發現與集成平臺，因此涵蓋了上述Gartner的所有4個類別。Anzo在現有數據基礎架構上應用了基于語義和圖形的數據結構層，以映射企業數據，顯示數據集之間的連接，啟用可視化探索與發現以及混合多個數據集。Anzo可通過訂閱獲得，其根據核心數量和用戶數量進行收費。

Datameer Enterprise

Datameer Enterprise為數據準備與數據工程平臺，屬于Gartner劃分的獨立類別。其重點是使用由向導引導的集成流程將原始且分散的數據源聚集在一起，以創建單一的數據存儲。Datameer提供了類似于電子表格的界面，可用于混合和視覺探索功能。 收費方式采取的是根據計算能力或數據量向客戶收費，云用戶則按小時收費或是包年。

Infogix Data3Sixty Analyze

Infogix的Data3Sixty Analyze為基于Web的解決方案，源自于Infogix收購的Lavastorm。與Datameer一樣，其涵蓋了Gartner的所有4個類別。Data3Sixty通過角色定義用戶。設計人員可以創建和編輯數據流，調度器可以創建和修改計劃以進行自動處理，但瀏覽器只能執行數據流。Infogix既將Data3Sixty作為基于訂閱的桌面產品，又將其作為基于服務器的產品出售。作為基于服務器的產品出售時，其采取的收費方式為一次收費和訂閱兩種方式。

Talend Data Preparation

Talend提供了三種數據準備工具：開源桌面版Talend Data Preparation、Talend Data Preparation Cloud（作為Talend Cloud平臺的一部分提供的商業版本）和商業版Talend Data Preparation（作為本地部署的Talend Data Fabric產品的一部分）。Talend數據準備是一個獨立的工具，而Talend Cloud和Talend Data Fabric則將數據準備作為一個功能整合到了數據集成/數據管理工具中。Talend使用了機器學習算法進行標準化、清洗、模式識別和對賬。開源版本是免費的，商業版本則采取的是指定用戶許可證的方式進行訂閱。

Trifacta Wrangler

Trifacta Wrangle是一個獨立的數據準備平臺，其有著多種版本，可支持云計算和本地計算環境。該平臺提供了嵌入式的機器學習功能，能夠推薦與之連接的數據、推斷數據結構和架構、推薦聯接、定義用戶訪問權限以及能夠實現可視化/數據質量的自動化可視化。Trifacta Wrangler有免費版本，有收費版本。其中，Wrangler Pro根據計算力和用戶數量收費，Wrangler Enterprise（分為本地版本和云版本） 按計算/處理規模和用戶數量收費，Trifacta的Google Cloud Dataprep則根據計算消耗情況收費。

本文作者Thor Olavsrud長期負責CIO.com網站的數據分析、商業智能和數據科學專欄。

原文網址

https：//www.cio.com/article/3449897/data-preparation-tools-your-analytics-strategys-secret-weapon.html？nsdr=true